桂林理工大学

详情

基于深度学习的ros无人搬运车

申报人：黄原胜 申报日期：2025-01-10

基本情况

2025年批次
基于深度学习的ros无人搬运车 学生申报
创新训练项目
工学
自动化类
学生来源于教师科研项目选题
一年期
由于产业升级和转型，制造业等行业的快速发展，对物流服务的需求不断增加。2024年一季度社会物流总额达到88万亿元，按可比价格计算，同比增长5.9%。然而，物流发达地区常伴随高地租和高人工成本，且人工效率和稳定性问题难以支撑行业快速发展。为此，本团队预设计一款基于深度学习的无人搬运车，基于深度学习的无人搬运车是一个结合了机器人技术、人工智能和自动化控制的复杂系统，深度学习在无人搬运车中的应用提高了车辆的智能性和自主性，使其能够在多变的环境中更有效地执行任务，能自主完成物流配送、搬运、装卸货和运输等任务，根据不同的情况实现最优的解决方式。这些机器人旨在提高物流效率和准确度，降低成本，解决人力资源短缺等问题。
2024年全国电子设计大赛省三
2024成图先进大赛省一
2024全国节能减排大赛国三
指导老师曾先后主持和参与国家自然科学基金项目、广西自然科学基金项目等项目9项，重要期刊发表文章近20篇，软件著作权4项，发明专利18项。
主持项目广西自然科学基金青年基金，桂科2022GXNSFBA035613，大容量、高能量特定工况下自膨胀气流与爆炸气流协同抑制工频电弧重燃方法
项目执行期间遭遇不少技术瓶颈。指导教师发挥专业特长，亲自下场指导实操，带领团队查阅海量文献资料，为我们搭建交流平台。当团队在算法优化上停滞不前时，教师引入前沿学术成果，组织专项研讨，带着大家一步步剖析、调整代码，有力推动项目进程。
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
黄原胜 机械与控制工程学院 自动化 2023 团队统筹
林博栋 机械与控制工程学院 机器人工程 2023 APP软件设计
贾兴威 机械与控制工程学院 机器人工程 2023 传感器程序设计
骆纪言 机械与控制工程学院 机械设计制造及其自动化（中外合作办学） 2022 机器人整体模型设计
谢柳凤 机械与控制工程学院 自动化 2023 控制程序设计

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
吴东 机械与控制工程学院 否
方文华 机械与控制工程学院 否

立项依据

近年来，随着全球经济的持续增长，贸易活动日益频繁，商品流通速度加快，物流需求也随之增加。并且，随着消费者需求的多样化和个性化，对物流服务和速度的要求也越来越高。消费者希望获得更快速，更便捷，更安全的物流服务，保证服务的同时还要保证成本和效率，这使得物流行业对智能化的需求与日剧增。与此同时，物流技术不断进步，人工智能，深度学习，ai等技术的应用更加广泛。因此，基于深度学习的无人搬运车应运而生，成为解决此问题的最优选择。
据产业信息网整理的2015-2023物流行业总收入及增长情况及预测2024-2029物流总收入可可看出，物流行业发展潜力巨大。如下表：
图1-1 2015-2023中国物流总收入及增长情况
图1-2 2024-2029年中国社会物流总收入预测
为了响应国家号召《推动物流业制造业深度融合创新发展实施方案》中，推进新兴技术和智能化设备应用，提高物流环节的自动化和智慧化水平，和进一步降低物流成本问题。本团队旨在设计一款利用人工智能，机器视觉，机器人技术，自主完成物流装配，仓储管理，物料搬运，装卸货，运输等应对不同环境任务的基于深度学习的无人搬运车。
该无人搬运车自动化程度高，有效的降低了成本，极大的提高了效率，减少了人力需求和错误率。提高了工作安全性，减少了意外事故，更加易于维护。同时也积极响应了物流行业低碳发展的政策，让环境保护与智慧科技深度结合，使物流行业更加科技，智能化。
1. 本项目的研究内容涉及以下几个方面：
（1）多传感器融合SLAM：
多传感器融合SLAM技术在国内也得到了广泛研究，研究团队通过融合不同类型的传感器数据，提升SLAM系统的鲁棒性和精度。激光雷达与视觉融合SLAM，上海交通大学的研究团队提出了一种激光雷达与视觉融合的SLAM系统，通过结合激光雷达的精确距离测量和视觉传感器的丰富环境信息，实现了高精度的定位与地图构建。IMU与视觉融合SLAM，浙江大学的研究团队在VINS-Mono的基础上，进一步融合IMU和视觉数据，通过优化算法提升了系统的定位精度和鲁棒性，广泛应用于无人机和移动机器人领域。
（2）导航与感知技术：
研究如何实现机器人在复杂环境中的自主导航和感知能力，包括利用各种传感器（如摄像头、激光雷达、超声波传感器等）获取周围环境信息，并通过算法进行分析和决策。
（3）运动控制与路径规划：
研究如何控制机器人的运动，使其能够准确地操控物体进行搬运工作。这包括机器人的动力系统设计、运动规划算法以及对不同形状、重量的物体进行抓取和搬运的策略。
（4）深度学习与智能识别：
研究如何借助深度学习让无人搬运车准确识别货物。对于一些需要精确操作的任务，如将货物放置在特定的货架位置，深度学习可以帮助车辆控制机械臂等操作装置，根据视觉反馈精细调整动作，确保货物放置准确无误。
(1) 国内研究现状：
与国外无人搬运车相比，我国无人搬运车核心技术落后，产品同质化竞争严重。 高精度减速器、高性能伺服电机和驱动器、 高性能控制器等核心零部件的成本占到国产机器人成本的70%,是制约我国机器人产业发展的技术瓶颈，在无人搬运车技术研究方面，涵盖经典算法、视觉SLAM、深度学习应用以及多传感器融合等多个方向也遇到技术瓶颈。导致无人搬运车不能很好的规划路径，做出正确的选择，性能上稍微落后。
图2-2-1轮式自主是搬运机器人
在无人搬运车领域，国内的技术研究起步相对较晚，大部分的无人搬运车厂商成立时间不超过5年，发展速度较快，但机遇与挑战并存。近年来，电商驱动下的“新零售9",要求物流系统更加智能化和柔性化。
其中“货到人”无人搬运车可以快速并行完成上架、 拣选、补货、退货、盘点等多种任务，在电商物流中心的需求巨大。智能物流系统的建立及智慧工厂的发展将带来码垛机器人的大规模应用，市场规模将进一步扩大，2020年市场销量将超10万台，市场规模有望超165亿元。
另外在无人配送机器人方面，城市配送无人车依托路况自主识别、任务智能规划的技术构建起高效率的城市短程物流网络，如今各大物流企业都加大了智能无人搬运车的研发力度，积极布局智能物流体系。
图2-2-2适用多场景的家庭搬运机器人
国内的应用领域从仓储物流、制造业扩展至医疗卫生、餐饮零售、快递配送等。在疫情影响下，无接触配送服务受到更多关注和需求。智能无人搬运车应用于医院内的药品、样本、餐食配送，以及商场、超市、酒店的货物上架和客户服务。
目前，2024年物流机器人行业市场发展积极向好，市场规模持续扩大。全球AGV机器人市场增长势头强劲，亚太地区市场份额超过一半，中国、欧美地区的企业是市场主要玩家。
劳动力短缺和成本上升促使自动物流成为未来企业转型的主流趋势。随着发展我国物流机器人零部件供应商数量不断增多，说明核心零部件的自主创新能力有所增强，未来还需提高技术稳定性和批量生产能力，打破国外技术壁垒和长期依赖进口局面。 此外，5G、物联网、智能算法和感知识别技术在物流领域的深度融合将推动标志性、高附加值的智能无人搬运车产品的研发，成为物流机器人新的增长点。
(2) 国外研究现状：
Starship Technologies总部位于英国伦敦，是无人配送领域的“大明星”。该公司的目标是建立一个自动驾驶机器人网络，用户可以使用机器人来进行货物和食品配送。Starship具备完整的避障系统，可完全自动执行任务，能够以每小时4英里的速度行驶，每次可以运送20镑（约9公斤）的物品。机器人配备9个摄像头，能够辨别并“记住”路线，通过机器学习可以实现自主导航。
图2-2-3智行mini2机器人实验平台
资本主义国家对于各个信息领域都开始有了深入的发展，因此欧洲、美国、日本、韩国等多个国家在信息领域获得的发展速度高于其他国家，就搬运机器人领域来说，上述几个国家的搬运机器人发展技术更为完善，发展经验更为丰富。在近几年，伴随着其他国家更多的重视提信息科技领域的发展，越来越多的行业需要搬运机器人为其行业发展提供帮助。基于此，各个国家对于搬运机器人的研究也变得更为深入，就现阶段的搬运机器人发展研究情况来说，德国的KaKU公司发展技术最为成熟。在多种不同类型的搬运机器人生产方面，德国KuKA公司的生产水平居于世界前茅。
(3) 国内外发展动态：
不管是国内还是国外的发展来看，现阶段针对搬运机器人的研究已经显现出了比较明显的效果，从当前的研究情况来分析，未来物流搬运机器人发展会愈演愈烈，并且会有较好的发展前景。在经过一段时间发展后，针对无人搬运机器人的研究重点则会更多地放在针对搬运方面的数据性能完善上，主要现在有四个发展方向：
第一是高负载能力的提升，对于搬运机器人来说，承载能力会是未来研究的主要方向。
第二则是机器人的可靠性提升。一般来说，机器人的零件越多，结构越复杂，在工作出现概率的故障也就更低。因此，在未来的发展过程中，为了进一步提高机器人工作效率会着重提高搬运机器人的工作稳定性。
第三点则是人机交互技术的运用，机器人更多的在人们的生活中频繁出现，因此在未来进一步提高机器人与人类的交流效率，将极大程度上帮助机器人获得更好的发展渠道，提高交流效率，为机器人未来发展奠定更好的基础。
最后一个方向则是智能化发展。多机器人同步定位与地图构建（SLAM）技术是近年来研究的热点之一。通过多台机器人协同工作，可以显著提升环境感知的覆盖范围和效率，增强系统的鲁棒性和可靠性。国外在多机器人SLAM的研究方面上，涵盖了算法优化、协同策略、通信机制和实际应用等多个方面。更多的人要求机器人并不是只能简单的完成代替人力操作，还要求机器人根据实际情况进行反应。增强机器人的工作稳定性和工作效率将成为未来机器人发展的主要方向。
1. 本基于深度学习的无人搬运车的创新点与项目特色包括以下几个方面：
（1）精准的目标检测与分类：
利用深度学习中的卷积神经网络（CNN）等算法，无人物流搬运车能够对各种物体进行精准的检测和分类，如准确识别不同类型的货物、货架、障碍物、行人以及其他车辆等。相比传统的识别方法，深度学习模型可以自动从大量数据中学习特征，避免了繁琐的手工特征提取过程，大大提高了识别的准确率和鲁棒性，即使在复杂的环境条件下，如光线变化、物体遮挡等，也能稳定地识别目标.
（2）语义理解与场景认知：
通过深度学习技术，搬运车可以对周围环境进行更深入的语义理解，不仅能够识别出单个物体，还能理解物体之间的关系以及整个场景的布局。例如，它可以区分出道路、仓库区域、工作区等不同的语义区域，从而更好地规划路径和执行任务.
（3）多传感器数据融合增强感知：
深度学习可以有效地融合激光雷达、摄像头、毫米波雷达等多种传感器的数据，充分发挥各传感器的优势，提高环境感知的全面性和准确性。例如，将激光雷达的距离信息与摄像头的图像信息相结合，通过深度学习模型进行融合处理，能够更精确地构建三维环境地图，为搬运车的导航和避障提供更可靠的依据.
（4）基于深度学习的路径规划：
采用深度强化学习等算法，无人物流搬运车能够根据实时的环境信息和任务要求，动态地规划出最优路径。与传统的路径规划方法相比，深度学习模型可以更好地应对复杂多变的物流环境，如动态障碍物、交通拥堵等情况，实时调整路径，以提高搬运效率、减少运输时间和能耗.
（5）行为预测与决策优化：
利用深度学习模型对周围车辆和行人的行为进行预测，无人物流搬运车可以提前做出更合理的决策，避免潜在的碰撞风险。例如，通过对历史数据和当前环境的分析，预测行人的行走方向和速度，从而调整自身的行驶速度和路径，确保行驶安全.
（6）任务调度与优化：
深度学习可以应用于物流搬运车的任务调度系统，通过对大量历史任务数据和实时任务信息的学习和分析，优化任务的分配和执行顺序，提高多辆搬运车之间的协同作业效率，实现资源的合理配置，进一步提升整个物流系统的运作效率.
（7）精准的车辆控制：
图3-1-1 路径规划原理图
深度学习模型可以学习到无人物流搬运车在不同路况和负载条件下的最佳控制策略，从而实现更精准的速度控制、转向控制和制动控制。通过对车辆运动状态的实时监测和反馈，深度学习控制器能够及时调整控制参数，确保车辆行驶的平稳性和准确性，提高货物搬运的安全性和效率.
（8）机械臂操作的智能化：
对于配备机械臂的无人物流搬运车，深度学习可以用于优化机械臂的运动控制和操作精度。通过对大量抓取和放置操作数据的学习，机械臂能够更准确地定位货物、调整抓取姿态，实现对不同形状、尺寸和重量货物的稳定抓取和精确放置，提高货物装卸的自动化程度和成功率.
（9）适应复杂多变的环境：
图3-1-2 电脑仿真训练
深度学习赋予了无人物流搬运车更强的环境适应性，使其能够在不同的仓库布局、天气条件和光照环境下稳定运行。通过不断地学习和更新模型参数，搬运车可以逐渐适应各种新的场景和变化，减少对人工干预的依赖，提高系统的自主性和可靠性.
（10）易于扩展与升级：
基于深度学习的软件架构具有良好的可扩展性，可以方便地添加新的功能模块、传感器或改进算法。随着技术的不断发展和物流业务的变化，无人物流搬运车系统能够快速进行升级和优化，以满足不断增长的市场需求和客户个性化的要求 。
（11）数据驱动的优化与改进：
深度学习依赖大量的数据进行训练和学习，因此无人物流搬运车在运行过程中积累的数据可以为系统的持续优化提供有力支持。通过对实际运行数据的分析和挖掘，可以发现潜在的问题和优化点，进而不断改进模型和算法，提升整个系统的性能和表现.
（12）远程监控与数据分析：
借助深度学习和物联网技术，无人物流搬运车可以实现远程监控和操作功能。管理人员可以通过远程终端实时查看搬运车的运行状态、环境感知信息以及任务执行进度等，并在必要时进行远程干预和调度，提高了对物流搬运过程的管控能力和灵活性.
（13）数据分析与预测：
对搬运车运行过程中产生的大量数据进行深度学习分析，可以挖掘出有价值的信息，如货物流量规律、设备故障预警、能耗分析等。这些数据可以为物流企业的决策提供科学依据，帮助企业优化库存管理、设备维护计划和物流配送策略，实现智能化的物流运营管理
1. 技术路线：
图4-1-1 控制系统设计流程图
图4-1-2 阿克曼底盘控制系统流程方框图
本项目设计是一款基于深度学习的无人搬运车。该车选用了麦克纳姆轮底盘，该底盘不仅保证了车辆能够在平面内全向移动，还可以进行中心旋转等复杂的运动方式。底盘的主控采用stm32系列芯片，该芯片支持实时操作系统，可以精准的控制电机，传感器等外设。上位机采用树莓派5开发板，在ubuntu系统上运行ros操作系统。
本车的大体结构设计如图4-1所示
图4-1-3 大体结构设计
该项目利用多种传感器，如激光雷达、摄像头、IMU（惯性测量单元）等收集无人搬运车周围环境信息。激光雷达获取环境的点云数据，摄像头拍摄图像数据，IMU 提供车辆自身的姿态信息。在不同场景下进行数据采集，包括各种光照条件、不同地形以及障碍物分布情况等。
图4-1-4 雷达模块 图4-1-5 闭环电机驱动模块
采用基于激光雷达的 SLAM 算法（如 Cartographer、LOAM 等）进行地图构建与定位。将激光雷达点云数据实时处理，构建环境的二维或三维地图，并确定无人搬运车在地图中的位置。
根据任务需求选择合适的深度学习模型。如用于目标检测的YOLO系列模型或者用于语义分割的Mask R - CNN等。利用标注好的数据对模型进行训练，在训练过程中，调整模型的参数以优化性能，例如提高物体识别的准确率和定位的精度。可以使用迁移学习，利用在大规模数据集上预训练的模型，加快训练速度并提高模型的泛化能力。
将训练好的深度学习模型通过ROS的接口集成到无人搬运车的软件系统中。例如，通过ROS的消息机制，将传感器数据传输到模型中进行推理。创建ROS节点，用于启动和管理深度学习模型，使模型输出的结果（如物体的位置、类别等信息）能够被其他ROS节点（如路径规划节点、控制节点）使用。
融合深度学习识别结果对 SLAM 过程进行优化。例如，当深度学习模型识别出特定物体（如动态障碍物）时，为 SLAM 算法提供先验信息，以便更合理地规划路径和更新地图，提高在复杂动态环境中的导航精度和适应性。
在实际场景和仿真环境中对无人搬运车进行测试。在仿真环境（如Gazebo）中，可以方便地模拟各种复杂场景和故障情况，对系统的稳定性和性能进行评估。根据测试结果，对深度学习模型、路径规划算法、运动控制策略等进行优化，提高无人搬运车的可靠性、安全性和工作效率。
2. 拟解决问题：
1.调试车辆底盘，采用PID，MPC，LQR等控制算法，确保搬运车能够稳定，准确的沿着规划路径行驶。
2.设计出能实现高效率自动巡航的路线，针对该运动底盘，写出自己的本地路径规划。
3.训练深度学习模型，提升识别的准确度和效率。
4.设计出机械结构，以应对不同的坏境，方便模块的添加和功能扩展，以进行二次的开发，应对当代万变的时代坏境。
3. 预期成果：
1.设计出能实现高效率自动巡航的路线，并通过相应的算法，得到最快的巡航路线，在一定程度上可以最大化的减少人工操作和提高工作效率，让用户从真正意义上解放双手，使物流搬运变得更加便捷和智能化。
2.设计出太阳能“绿色”充电模块，响应国家节能减排的政策，也为搬运车提高了续航能力，既可有效避免了电池对于环境的污染，又减少了人工充电的麻烦，提高了搬运车的工作效率。
3.降低劳动成本：自动化的机器人系统能够减少对人工劳动的需求，从而降低了劳动成本。
4.提高搬运准确性和质量：机器人通过精确的抓取和搬运操作，减少了搬运过程中的错误和损坏，提高了搬运的准确性和质量。
5.设计出深度学习搬运车实物，小车具备良好的环境适应能力，节能环保，并撰写相关论文和软著。
     图5-1-1 树莓派4b 图5-1-2 STM32F407ZGT6
1.第一阶段：项目启动与技术选型
选择合适的ROS（Robot Operating System）主控芯片以及STM32微控制器作为硬件基础。这一步骤中，团队需要根据项目需求评估不同型号芯片的性能、成本效益比及兼容性等因素，最终确定最适合本项目的硬件配置。
编写核心控制程序。基于选定的硬件平台，开发用于机器人导航和任务执行的基本软件架构。这包括但不限于运动控制算法、传感器数据处理流程等关键部分。
组织会议讨论并规划具体的实验步骤。通过召开多次内部会议来明确每个阶段的目标、所需资源以及预期成果，确保所有成员对整个项目的理解和方向保持一致。
2.第二阶段：设计与可视化
利用专业的3D工具绘制出机器人的三维模型图，这不仅有助于更直观地展示设计理念，也为后续制造提供了精确的设计图纸。
同时完成整体形象图的设计工作，包括外观颜色搭配、标志标识等信息，使得产品在视觉上更加吸引人且具有辨识度。
3.第三阶段：原型机制作与调试
根据之前设计好的3D模型图采购相应材料，并开始动手制作外壳部件。此过程可能涉及到加工、3D打印等多种工艺方法。
组装各个组件，将电路板、电机、电池等主要元件安装到位，形成一个完整的系统。
对已编写好的程序进行实际操作测试，在真实环境下检验其功能表现，并根据发现的问题及时调整优化代码逻辑或参数设置。
4.第四阶段：实地测试与数据分析
寻找合适的实验场地开展现场测试活动。选择能够模拟实际应用场景的环境来进行多轮次的运行试验。
记录每次测试过程中收集到的各种数据指标，如速度、准确性、能耗等，并运用统计学方法对其进行深入分析，找出影响性能的关键因素。
5.第五阶段：算法迭代升级
根据前期测试结果反馈的信息，针对性地修改和完善路径规划算法，提高机器人自主移动时的效率和安全性。
引入深度学习技术构建更复杂的感知模型，以此增强系统对于环境变化的适应能力。
不断重复训练-验证-调整的过程，直至达到满意的正确率水平为止。
6.第六阶段：总结报告撰写与成果展示
整理整个项目期间积累下来的各种文档资料，包括但不限于技术规格说明书、源代码清单、实验日志、研究报告等，形成完整的结题材料包。
（1）与本项目有关的研究积累和已取得的成绩
团队成员已经完成大部分理论知识的学习，并对C/C++语言、keil软件、IAR软件，VMware软件，STM32开发板、树莓派开发板等的使用有了一定的知识积累，程序编写能力经过嵌入式实习等课程的实操培训得到了很大的提高，为项目的顺利进行打下了坚实的基础。

（2）已具备的条件，尚缺少的条件及解决方法
已具备的条件：
硬件：树莓派5开发板、STM32开发板、雷达、IMU、太阳能板、无线WiFi模块、语音接收模块、USB供电模块、摄像头识别模块。
技术：构建3D模型，基于STM32开发板，树莓派开发板的程序设计，Opencv以及深度学习理论知识，并且分别使用 C ++语言和python 编程。
尚缺少的条件及解决办法：
尚缺少的条件：缺少对物体的精准识别，以及路线规划的不合理。
解决办法：增加摄像头目标检测的数据集训练范围，优化本地路径算法，调试车辆底盘，提升底盘的灵活性。 

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 5000.00 无 3200.00 1800.00
1. 业务费 1300.00 技术开发 600.00 700.00
（1）计算、分析、测试费 100.00 数据分析 50.00 50.00
（2）能源动力费 200.00 能源动力耗费 100.00 100.00
（3）会议、差旅费 400.00 实考察地 200.00 200.00
（4）文献检索费 100.00 文献查阅 50.00 50.00
（5）论文出版费 500.00 论文出版 200.00 300.00
2. 仪器设备购置费 1500.00 购置设备 1000.00 500.00
3. 实验装置试制费 200.00 样机制作调试 100.00 100.00
4. 材料费 2000.00 材料购买 1500.00 500.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司