桂林理工大学

详情

“柑”为人先—基于具身智能的柑橘采摘机器人开创者

申报人：罗嘉瑜 申报日期：2026-04-14

基本情况

2026年批次
“柑”为人先—基于具身智能的柑橘采摘机器人开创者 学生申报
创新训练项目
工学
机械类
学生来源于教师科研项目选题
一年期
本项目旨在开发一款基于LetRobot框架与模仿学习技术的智能柑橘采摘机器人，以解决农业生产中劳动力短缺、采摘成本高等核心痛点，属于人工智能AI+农业的典型案例应用。项目依托OAK双目相机、Jetson Nano嵌入式算力平台与Piper机械臂等硬件基础，重点研究如何让机器人通过观察并学习人类的采摘动作，从而在复杂的果园环境中实现柑橘果实的自主识别、精准定位与无损采摘。项目的核心创新在于将先进的具身智能理念与具体的农业采摘任务深度融合。我们不仅关注视觉识别算法，更着重开发一套能够通过与环境交互不断进化采摘技能的智能系统。通过采集人工的采摘示范数据并导入LetRobot框架进行训练，使机器人能适应果实的多种生长姿态和遮挡情况。团队具备跨学科的研发能力，项目成果预期包括申请一项专利或相关算法软件著作权及成果参加学科竞赛获省部级奖项以上。本项目的推进，将为智慧农业提供一种低成本、高适应性的自动化解决方案，对提升农业生产效率、推动农业自动化转型升级具有积极的实践意义。
目前申请专利1项，曾参与2025年睿抗机器人开发者大赛获省部级三等奖1项。
目前参与在研广西重点研发项目2项目，区级教改项目2项，指导学生获得全国性学科竞赛获奖4项，完成区级大创项目结题1项。
指导教师长期从事人工智能技术在农机智能化方面的研究，发表过相关SCI论文，拥有相关专利，可提供技术支持。可指导学生进行平台搭建、数据采集、算法学习、模型部署与优化等，结合具身智能技术，构建一套基于LetRobot框架的柑橘采摘机器人系统。
国家级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
罗嘉瑜 南宁分校 计算机工程与技术 2024 项目负责人
吴朝胜 南宁分校 计算机工程与技术 2025 机械机构设计
陈吉隆 南宁分校 机械设计制造及其自动化 2023 识别算法
孙世伟 南宁分校 计算机工程与技术 2024 识别算法
罗子恒 南宁分校 计算机工程与技术 2025 机器人控制

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
朱昌炜 南宁分校 否

立项依据

我国柑橘产业规模稳居世界首位，但产业发展正面临严峻的劳动力挑战。随着人口老龄化加剧和农业劳动力成本持续攀升，柑橘采摘环节已占生产总成本的40%-60%。传统人工采摘效率低下且存在安全隐患，严重制约了柑橘产业的可持续发展。具身智能作为新一代人工智能的核心范式，强调智能体通过与环境的物理交互来获取认知和学习技能。与传统农业机器人采用的预编程方案不同，具身智能机器人能够通过多模态感知和自主交互学习，适应果园复杂非结构化环境，显著提升采摘的智能水平和适应性。
针对我国柑橘产业采摘环节的痛点，结合广西作为全国柑橘主产区的产业需求，研发基于具身智能的柑橘采摘机器人。通过复刻熟练果农的高效采摘动作，融合高精度机器视觉与柔性机械结构，实现柑橘采摘“自动化识别、精准化抓取、低损化分离”，解决传统人工采摘受体力、天气影响大，以及现有采摘设备适配性差、成本高的问题，推动柑橘产业智能化升级，助力乡村振兴与农业现代化发展。
结合具身智能技术，构建一套基于LetRobot框架的柑橘采摘机器人系统，完成从数据采集、算法训练到实体采摘的全流程闭环验证。
1.模仿学习数据集构建​​
录制手动操作机械臂进行柑橘采摘的演示数据，包括相机采集的视觉图像序列、机械臂末端的位姿轨迹、夹爪的开合状态等。然后，对数据进行清洗、标注和增强，构建一个专用于柑橘采摘模仿学习的多模态数据集。
2.基于LetRobot框架的模仿学习算法开发​​
完成LetRobot部署，并在LetRobot框架下，实现行为克隆算法。选择合适的神经网络模型（如CNN+LSTM），学习从视觉观察到机械臂动作的端到端映射。研究DAGGER等模仿学习算法，以解决行为克隆中的分布偏移问题，提升模型在真实环境中的泛化能力和鲁棒性。
3.柑橘识别与定位系统优化​
利用OAK相机内置的深度计算能力，基于YOLO等目标检测算法，开发高精度的柑橘果实识别模型。结合RGB图像和深度信息，实时计算果实的三维空间坐标，为机械臂运动规划提供目标点。
4.系统集成与测试验证：​​
将训练好的模仿学习策略模型部署到Jetson Nano边缘计算设备上。集成感知、决策与控制模块，在实验室模拟环境和真实柑橘园中进行采摘性能测试，评估采摘成功率、损伤率、单果采摘时间等关键指标。
目前，国内外在采摘机器人领域已取得一定进展，但均面临不同挑战。日本、欧美等国家在农业机器人领域起步较早，开发了西红柿、黄瓜等采摘机器人。这些机器人多采用传统视觉伺服控制或简单的预编程动作，虽然精度较高，但环境泛化能力弱，且系统复杂、成本高昂，难以在我国中小型果园推广。国内高校与研究机构（如华中农业大学、华南农业大学等）也已开展相关研究。现有系统多集中于果实识别算法或机械结构优化，例如采用双目视觉定位然而，在决策智能方面仍有不足，机器人的采摘策略往往固化，无法像人类一样灵活应对果实遮挡、光照变化、枝条干扰等复杂情况。部分最新研究开始尝试引入人工智能方法，但将模仿学习与LetRobot此类轻量级开源框架深度融合的具身智能采摘专门研究尚属前沿探索领域。
本项目首次将具身智能技术引入柑橘采摘机器人进行应用，构建一套基于LetRobot框架的柑橘采摘机器人系统，属于人工智能AI+农业的典型案例应用。
1.首次将LetRobot开源框架与模仿学习系统性地应用于柑橘采摘任务，开创了一种低成本、高效率的农业机器人技能获取新路径。
2.不局限于简单的行为克隆，计划引入DAGGER等交互式模仿学习算法，有效应对“数据集偏差”问题，显著提升机器人在复杂果园环境中的自适应和抗干扰能力。
3.充分利用OAK相机的实时深度感知能力与Jetson Nano的边缘AI算力，构建了一个感知-决策-控制紧密耦合的轻量级、低功耗嵌入式系统，具有良好的实用化和推广前景。
4.针对性强，直击农业采摘中“灵巧操作”的痛点，旨在让机器人真正模仿并掌握人类的采摘技巧，而非执行僵化的动作。
本项目实施技术路线如下，主要分为三个阶段：
1.平台构建与数据采集（第1-4个月）​​
（1）硬件系统集成与通信测试​​
​​组装OAK-D相机、Jetson Nano和Piper机械臂。首先确保OAK-D能稳定输出RGB图像和深度点云数据；接着，在Jetson Nano上配置ROS驱动，建立与Piper机械臂的通信链路，测试关节角度读取和指令下发的实时性。
（2）LetRobot框架环境配置​​
​​在Jetson Nano上部署Ubuntu和ROS。克隆LetRobot开源仓库，安装其依赖项。重点配置数据记录模块，确保能同步录制来自OAK的视觉数据、机械臂的关节角度数据和末端执行器的状态数据，并打上统一的时间戳。
（3）模仿学习数据集采集与标注​​
手动在模拟柑橘树环境下进行采摘操作，通过已配置的LetRobot系统，录制至少50次成功的采摘演示。对采集的数据进行清洗，并标注出每帧图像中柑橘果实的边界框、成熟度以及对应的机械臂运动轨迹关键点。
2.算法开发与仿真验证（第5-8个月）​​
（1）模仿学习算法选择与训练​​
​ 基于LetRobot框架的API，首先实现行为克隆算法。选择一个结合CNN和LSTM的神经网络模型，输入为连续的图像序列，输出为机械臂的关节运动指令。使用第一阶段采集的数据集进行训练，并监控模型在验证集上的损失，防止过拟合。
（2）Gazebo仿真环境搭建与测试​​
​ 在Gazebo中构建一个简化的柑橘树三维模型。将训练好的行为克隆模型部署到仿真机器人上，进行“所见即所动”的测试。初步评估采摘逻辑的正确性，并记录成功率。
（3）模型优化与轻量化处理​​
​ 针对仿真测试中发现的问题（如对遮挡果实识别不准），引入DAGGER等算法进行优化。同时，使用TensorRT或PyTorch Mobile对模型进行量化与加速，确保其能在Jetson Nano上达到实时推理速度。
3.系统集成与实验室测试（第9-12个月）​​
（1）模型部署与边缘推理​​
​​将优化后的轻量级模型部署到Jetson Nano。编写ROS节点，实现从OAK-D实时获取图像→模型推理→生成控制指令→发送给Piper机械臂的自动化流水线。
（2）感知-决策-控制闭环联调​​
​​在实验室搭建模拟柑橘树环境。启动系统，进行闭环测试。重点调试因仿真与现实差异导致的定位误差和抓取力度控制问题。利用末端执行器的力传感器反馈，实现柔顺抓取。
（3）实验室性能评估​​
​ 进行至少20次的连续采摘测试，统计采摘成功率、果实损伤率和平均单果采摘时间等关键指标。主动引入轻微遮挡、光照变化等干扰因素，测试系统的鲁棒性，并据此进一步微调算法。
本项目的预期取得成果如下：
1.申请发明专利或实用新型专利或计算机软件著作权至少1项。
2.研究成果参加学科竞赛获得省部级三等奖以上。
3.完成项目结题报告1份，包含技术方案、测试数据、成本分析、推广建议等内容，为后续成果转化提供参考。
项目周期：2026年5月—2027年5月（共12个月），分4个阶段推进，明确节点、责任到人、闭环验收。
第一阶段：启动筹备与硬件平台搭建（2026年5月—2026年6月）
1. 完成项目组分工细化，明确机械设计、控制、算法、视觉识别等模块责任人。
2. 完成文献调研、技术方案定稿与风险评估，提交开题材料。
3. 完成核心硬件采购与验收：OAK双目相机、Jetson Nano、Piper机械臂、实验耗材等。
4. 搭建实验室基础环境，完成硬件接线、供电、通信初步调试。
5. 里程碑：硬件平台到位，基础运行环境搭建完成。
第二阶段：系统部署与数据采集（2026年7月—2026年9月）
1. 在Jetson Nano完成Ubuntu、ROS、LetRobot框架环境部署与依赖配置。
2. 实现相机、机械臂、主控板间数据同步与时间戳对齐。
3. 开展人工示范采摘动作录制，采集视觉、位姿、夹爪状态等多模态数据。
4. 完成数据集清洗、标注与增强，构建柑橘采摘模仿学习专用数据集。
5. 里程碑：数据集建成，LetRobot环境可稳定录数与回放。
第三阶段：算法开发与模型训练（2026年10月—2027年1月）
1. 基于LetRobot实现行为克隆算法，完成CNN+LSTM模型搭建与训练。
2. 引入DAGGER算法优化，解决分布偏移问题，提升泛化能力。
3. 完成柑橘识别与三维定位算法开发，对接深度信息实现精准定位。
4. 开展Gazebo仿真测试，验证采摘逻辑可行性，完成模型轻量化优化。
5. 里程碑：算法模型训练完成，仿真环境采摘成功率达标。
第四阶段：系统集成与实地调试（2027年2月—2027年3月）
1. 完成感知—决策—控制全系统集成，搭建闭环控制流水线。
2. 在实验室模拟果园环境进行联调，优化抓取力度与避障逻辑。
3. 开展多场景测试：遮挡、光照变化、不同姿态果实适应性测试。
4. 统计采摘成功率、损伤率、单果耗时等核心指标，持续迭代优化。
5. 里程碑：实体样机稳定运行，关键性能指标达到预期。
第五阶段：成果整理与结题验收（2027年4月—2027年5月）
1. 整理实验数据、测试报告、技术文档，撰写项目结题报告。
2. 完成专利/软件著作权申请材料撰写与提交。
3. 备赛学科竞赛，完成演示视频、展板与答辩材料。
4. 项目总结、成果归档，参加校级/区级结题验收。
5. 里程碑：项目全面结题，成果产出达标，完成验收。
（1）前期相关成果参加第二十七届中国机器人及人工智能大赛获国家级三等奖1项，参加2025年睿抗机器人开发者大赛获省部级三等奖1项，
（2）目前正在申请发明专利1项：一种采摘机器人遮挡避免方法。
（1）已具备的条件：
依托桂林理工大学南宁分校“农业机械化智能化创新团队”科研团队项目，可使用戴尔工作站、piper机械臂、OAK双目相机、Jetson nano嵌入式开发板等已有设备。同时，指导教师长期从事人工智能技术在农机智能化方面的研究，发表过相关SCI论文，拥有相关专利，可提供技术支持。
（2）尚缺少的条件及解决方法：
尚缺少适合山地测试的机器人底盘、定制适配柑橘采摘的柔性爪等相关配套设备，计划通过采购的方式添置。

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 48000.00 无 33500.00 14500.00
1. 业务费 8000.00 开展业务 4500.00 3500.00
（1）计算、分析、测试费 0.00 无 0.00 0.00
（2）能源动力费 0.00 无 0.00 0.00
（3）会议、差旅费 2000.00 考察调研 1000.00 1000.00
（4）文献检索费 1000.00 文献检索 500.00 500.00
（5）论文出版费 5000.00 发表论文 3000.00 2000.00
2. 仪器设备购置费 10000.00 设备采购 8000.00 2000.00
3. 实验装置试制费 20000.00 样机试制 15000.00 5000.00
4. 材料费 10000.00 材料购买 6000.00 4000.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司