详情

基于机器视觉的智能行李箱

申报人:杨继峰 申报日期:2024-05-28

基本情况

2024年批次
基于机器视觉的智能行李箱 学生申报
创新训练项目
工学
自动化类
学生来源于教师科研项目选题
一年期
本项目设计一款基于嵌入式系统的智能行李箱,旨在为人们出行提供智能化服务,让人们在出行过程中更加省心、便捷。通过综合应用嵌入式系统、传感器、人工智能算法、机器视觉等技术,使得行李箱能够自动感知和跟踪主人移动,并智能调节车速和方向,实现自动跟随功能;此外该产品还具备防碰撞、自动刹车、防丢失、远程监控等功能,极大保证使用者的财产安全。
获得过全国大学生电子设计竞赛区赛一等奖,2023年度大创国家级优秀结题,第十二届中国教育机器人大赛总决赛二等奖,第十一届“挑战杯”区级三等奖,三维数字化创新大赛区赛特等奖,第九届全国青年科普创新实验暨作品大赛区级一等奖,机械创新设计大赛区赛二等奖。具有较强的动手实践能力,勤奋刻苦,敏捷思辨,努力求知,同时具有扎实的专业知识。
主要从事自动化控制方面的工程技术工作, 具有较为丰富的实践经验。
技术指导、项目进度监督。
校级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
杨继峰 机械与控制工程学院 自动化 2021 总体方案设计
王文鉴 机械与控制工程学院 自动化 2023 实验测试
汪秋云 机械与控制工程学院 机器人工程 2022 程序设计
吴嘉芊 机械与控制工程学院 机器人工程 2023 实验测试
王亚博 机械与控制工程学院 自动化 2023 控制方案设计

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
马文铭 机械与控制工程学院

立项依据

自年初疫情防控平稳转段以来,在国家扩大内需战略的推动下,我国文旅消费市场呈现出强劲增长的态势。据文化和旅游部公布的数据,2023年一季度,国内旅游总人数达12.16亿人次,同比增长了46.5%,而国内旅游收入也达到了1.30万亿元,同比增长了69.5%2023年一季度旅游收入为疫后4年同期最好成绩[1]

1.1 近五年来一季度旅游市场数据

5年来全国一季度旅游市场数据对比表

年份/季度

旅游人次(亿人次)

同比

国内旅游收入(万亿元)

同比

2023

 

 

一季度

12.16

46.50%

1.3

96.50%

2022

8.3

-19%

0.77

4%

2021

6.97

136%

0.56

150%

2020

2.95

-83.40%

0.29

-93.10%

2019

17.87

——

1.72

——

春运 15 天,汕头火车站春运客运量大幅增长,到发旅客超 48 万人次[2]2024年春运形势及工作安排新闻发布会上透露,春运从126日开始,至35日结束,全社会跨区域人员流动量将创历史新高。据预测,40天内大概有90亿人次出游、探亲、休闲等[3]。中国东方航空累计执行客运航班9.25万班,同比增幅约17.3%,已恢复至2019年水平的八成以上;累计运送旅客1086.5万人次,同比增幅41.2%,恢复至2019年水平的七成[4]

以上数据可以看出,在疫情复苏后,国内旅游业如雨后春笋般地复苏,人们对于出行的意愿在不断提升。同时因为疫情导致两三年未能与家人在佳节团聚的人们也在紧抓着这开放后的第一次春运的机会,以便能与经久未见的家人们团聚一时。在这些大数据的背后,人们对出行的便利性的追求也会越来越高,而影响最大的因素很可能来自于行李的携带是否便携。

新中国成立后,人们携带行李的方式普遍为使用一个巨大的袋子装在一起,背在背上以进行运输。在19世纪中旬英国的帕克斯顿发明了一种便携箱子,这便是如今行李箱的前身。直到现在,目前市场上常见的传统行李箱除了材料上的更替以外并没有实质性功能上的拓展,明显偏离了向越来越智能化的时代趋向。因此,设计一种具有智能特色的行李箱是在顺应人类发展的步伐,有广阔的前景。

本项目旨在解放出行者的双手,为出行人员提供智能化服务,减少在出行过程中因行李箱带来的不便,让人们出行更加简便的同时保护其财产安全。

本文设计的智能行李箱控制系统分为行李箱主体和用户端控制器两部分,通过HC-05蓝牙模块进行无线通信,实现行李箱与用户的各种交互。并具有自动跟随、跟随丢失报警、自动避障等功能,如图1所示

summernote-img

1 智能行李箱控制系统功能示意图

主要功能大致说明:

(1) 自动跟随:

通过摄像头捕捉前方的图像并进行分析,根据跟随目标的位置偏移量来调整转向角度,以实现行李箱对于跟随路线方向的自动调整。并且通过识别目标所包含的像素数来测量与跟随目标的距离,当距离大于预定阈值时将随着差值增大提高电机转速,反正降低。当距离小于制动阈值时会紧急制动防止碰撞。

(2) 丢失报警:

跟随模式下,若在一定时间内摄像头持续丢失目标,将会自动制动并进行丢失报警,报警信息将会在用户端控制器上显示。

(3) 自动避障:

通过搭载的超声波模块来进行前方障碍物检测,距离过近时会进行避障。

(4) 无线通信:

行李箱上的控制板与用户端的控制器之间通过蓝牙通信的方式无线通信,可以实现丢失报警、自动定位等功能。

1851年,一位名叫帕克斯顿的英国人发明了一种箱子,并展示在当时的伦敦世界博览会。箱子由铁和皮革制成,搭配有一把手提和一把伸缩杆,与当时人们普遍使用的纸箱与木箱比,极大提升了便利性。直到1972年,Bernard Sadow给手提箱装上了轮子,带有轮子的行李箱开始诞生在人们的视野中。但是这种箱子重心不稳定容易倒下且拖行时需要抬起一端非常费力,依然具有很大的设计缺陷。到了1987年,美国西北航空公司的一位机长Robert Plath突发奇想,给箱子立了起来并装上了轮子和拉杆,完美地解决了Bernard Sadow所设计的行李箱的痛点,这也是现代伸缩拉杆行李箱的雏形。后来,行李箱的基本结构也已经固定,发展趋势开始转向安全性与轻便性,例如使用密码锁代替传统锁扣,替换金属拉杆的原料为镁铝合金提升强度的同时还能降低重量等,但是功能依旧单一。

近些年来,国外有学者已经开始研究行李箱的智能化了。2022年,Lima de Paula Igor等人设计了一种可以进行追踪定位的智能行李箱[5]Wang Xiyuan等人设计了一种具有人机交互界面的智能行李箱 [6]

国内也有学者陆续开始研究传统行李箱的智能化发展。2018年,吴文滔等人设计了一种基于Opencv开发的智能跟随行李箱自主跟随系统,通过主控芯片控制多模块协同工作,配合OpenCV计算机视觉库中的Camshift追踪算法及卡尔曼滤波器,实现控制行李箱的智能跟随及自动规避障碍[7]。焦蔚然设计了一种运用互联网+”GPS技术,设计一款集自动跟随、助力行走、遥控行走于一体等功能的新型智能箱包[8]2019年,张丰等人设计了一种出利用UWB定位和自动控制系统的智能跟踪行李箱[9]。叶伟惠等人设计了一种多模式可载儿童智能行李箱装置[10]2020年,彭秋洁等人设计了一种基于Arduino的多功能自动跟随行李箱[11]。夏梦琴等人设计了一种以单片机为控制中心,运用GPS、蓝牙、PID控制等技术,能够实时检测和追踪运动中的目标,具有自动跟随、助力行走等功能的智能跟随箱包[12]。秦伟等人设计了一种基于物联网的智能定位跟随行李箱[13]2021年,谭舒月等人设计了一种结合了卫星定位技术、防超载控制技术、防丢防盗技术和自动化控制技术,实行行李箱实体与手机 App 借助 Wi-Fi 和蓝牙实行双连接形成的智能跟随行避障李箱[14]。孙铭泽等人的基于 Arduino 设计的一种能够稳速上下坡的自动避障跟随行李箱能够利用超声波模块、转速传感器和控制模块检形成闭环控制系统,检测箱体运动状态的变化并控制驱动电机的转速,使行李箱运行更加平稳,跟随避障功能更加精准[15]

可见如今,行李箱的智能化研究越来越受到学者们的关注,在未来智能行李箱会越来越成熟,为人们的出行提供更多的便利。

参考文献

[1] 蔡晓丹汕头站到发旅客超48万人次[N]. 汕头日报, 2024.

[2] 魏彪. 一季度国内旅游人次收入同比大幅增长[N]. 中国旅游报, 2023.

[3] 胡光旗. 春运“90亿人次背后的人间烟火气[N]. 21世纪经济报道, 2024.

[4] 胡蝶飞. 东航春运国内航班达9.1万基本恢复疫情前水平[N]. 上海法治报, 2023.

[5] Igor P D L , Hendrik R , Patrick T V . Conformal Integration of Efficient Conductive-Ink-Printed Antennas in Smart Suitcases for LPWAN-Based Luggage Tracking[J]. Sensors, 2022: 4077-4077.

[6] Xiyuan W , Xiya Y . Research on the Human-Computer Interaction Interface Design of Intelligent Luggage[J]. Journal of Physics:  Conference Series, 2022.

[7] 吴文滔, 邓政, 陈敏等. 基于OpenCV的智能跟随行李箱控制系统设计[J]. 农家参谋, 2020: 167.

[8] 焦蔚然. 可自动跟随的智能箱包的概念与设计[J]. 电子技术与软件工程, 2018: 248.

[9] 张丰, 李顺霖, 陈仁等. 基于自动跟随系统的智能行李箱[J]. 智能计算机与应用, 2019: 156-158.

[10] 叶伟慧, 舒秀兰, 林桂盛等. 多模式可载儿童智能行李箱装置优化设计[J]. 智能计算机与应用, 2019: 127-130+134.

[11] 彭秋洁, 刘凯磊, 康绍鹏等. 基于Arduino的多功能自动跟随行李箱设计[J]. 物联网技术, 2020: 63-65+70.

[12] 夏梦琴, 陈煜, 周毛毛等. 基于单片机的智能跟随箱包设计[J]. 现代信息科技, 2020: 160-162.

[13] 秦伟, 田浩澄. 基于物联网的智能定位跟随行李箱[J]. 计算机产品与流通, 2020: 127.

[14] 谭舒月, 关煜宇, 龚凤华. 自动跟随避障的防盗旅李箱设计[J]. 信息技术与信息化, 2021: 214-216.

[15] 孙铭泽, 李胜琴, 康家豪等. 基于Arduino设计的一种稳速上下坡的自动跟随避障行李箱[J]. 中国新技术新产品, 2021.

1. 创新点

(1) 自动跟随:传统的行李箱需要人们拉动、推动,出行时很不方便。相比之下,我们的行李箱采用基于机器视觉的跟随技术,它能够智能识别出行者并随之移动,自动行驶或停止。这种智能跟随不仅解放了出行人员的双手,还有效提高了出行人员自由度和便捷性。

(2) 安全性:我们的行李箱采用了多项安全技术,包括自动刹车系统和避障系统等,以确保行李箱在移动过程中的安全。此外,行李箱还配备有指纹识别功能,这可以帮助用户更好地保护个人财产安全,避免非授权人员打开行李箱。行李箱丢失报警模块也可以实时检测出行人员与行李箱的距离,确保行李箱的安全。

2. 项目特色

(1) 可实现智能化跟随,解放出行人员双手,节省出行人员的精力。

(2) 可以实现远程监控功能,方便出行人员找到行李箱。

(3) 提供带指纹识别的安全锁等安全保障。

(4) 操作方便,功能丰富。

1.技术路线

(1) 机械结构设计方案

结构设计:智能行李箱需要具备较好的稳定性,以保障行李中一些易碎物品的完整。因此,行李箱的底部采用四轮结构,以提高整个底部结构的稳固性。底部支架也需要采用稳固、高强度、耐用的建材,比如铝合金、碳纤维等,此外车轮设计为带有特殊弹性的万向轮,可以实现减少震动的效果。

安全防护设计:行李的安全性需要得到充分保障,智能行李箱外壳设计为防水、防碰撞防等,内部设计为减震、防磕碰等。因此行李箱箱体上设置需采用高强度、耐用材料,加强稳固度;内部加入一层减震材料保护行李完整。

刹车系统设计:刹车系统是防止行李箱碰撞行人或其他物体的一个关键因素,尤其是在行李箱在坡道上行进过程中需要停下时,行李箱设计自动刹车抱锁的机械结构,以确保行李箱可以有效停车。

(2)控制系统硬件设计方案

本产品设计是基于STM32单片机的智能行李箱设计,实现的主要功能有摄像头跟随、避障、自动刹车、指纹识别、远程监控、行李丢失报警、状态显示,如

2所示。

summernote-img

2 智能行李箱控制硬件设计示意图

①摄像头模块

在智能行李箱的前方安装摄像头模块,在智能跟随时,摄像头会实时监测行李箱周围环境并将图像传回给CPU。计算机视觉算法会对这些图像进行处理,以检测出出行人员的位置和方向,然后计算出智能行李箱需要前进的路径和速度。接下来,电机控制系统会根据算法的结果控制智能行李箱的运动。当出行人员移动时,智能行李箱会根据其路径进行自动跟随,并保持距离以避免碰撞。如果出行人员停下来或转向,智能行李箱也会相应地做出反应,以确保安全和平稳的移动。

避障模块

在行李箱前端装上红外避障传感器,当避障传感器检测到前方有障碍物时,当行李箱与障碍物距离小于1m时,行李箱收到信号就会减速然后缓慢刹车,避免行李箱撞击障碍物导致行李受到损失,达到避障功能,很好的提高了行李箱的安全性能。

自动刹车模块

自动刹车利用外部中断来判断知否执行刹车的,当按下自动刹车按键或行李箱度较快时,CPU会立即执行刹车程序,智能行李箱的电机会马上缓慢停止转动,同时行李箱车轮上相应的刹车结构会抱锁住车轮。

指纹识别模块

本设计在安全锁增加了指纹识别锁,您可以录入您的指纹信息,只有指纹符合的人才可以打开行李箱的安全锁,从而更好地保护您的财产的安全。

远程监控模块

利用行李箱外部的摄像头模块,通过该摄像头模块将行李箱周围时视频流发送到使用者的智能手机或电脑等设备上,方便使用者实时观察行李箱周围情况,以保证行李箱安全,防止被他人窃取,使出行人员更好地把握行李箱的安全状况,为出行人员提供更便利的服务。

行李箱丢失报警模块

在行李箱中加入定位模块,可检测行李箱与出行人员相对位置。开启防丢失功能后,若行李箱与使用者相对位置超过一定范围,定位模块的检测数据异常,并将异常数据传递到蓝牙APP上,触发APP报警,用户可自己解除报警。

状态显示模块

状态显示我们选用LCD模块,LCD具有诸如低功耗,轻薄,高清晰度等优点。LCD显示屏通常用于显示行李箱位置、电量等状态信息,LED指示灯通常用于显示行李箱的运行状态,如行李箱是否处于跟随模式、是否有警报等。同时,智能行李箱状态显示模块也可以通过无线网络连接到智能手机或平板电脑上,让行人们能够远程控制运行状态,随时获得改变行李箱的状态。这样使用者就可以更加便捷地出行。

位置检测模块

利用行李箱中的定位模块,实时监测行李箱位置。通过定位模块将数据传送到蓝牙APP上,进行位置实时监控,让使用者能够快速确定行李箱位置,防止行李丢失。

(3) 控制系统软件设计方案

行李箱的各个部分收到相应的反馈之后便会执行已设置好的指令,用户可以选择户外模式所携带的功能和室内模式的功能,具体如图3所示。

开启行李箱时,首先程序会进行初始化。用户可根据自己需求选择选随模式或者待机模式。在待跟随式下,智能行李箱将提供智能跟随、避障、自动刹车、指纹安全锁、防丢失等一系列丰富功能。此模式下,使用者可轻松放心地将行李箱跟随中,而不用担心行李丢失和安全问题。特别是该模式下,智能行李箱可自主避开障碍物,实现安全自动驾驶,不仅具备防丢失功能和指纹安全锁,还不用担心行李箱撞到障碍物的问题。当遇到障碍物时,感应器会自动感知并做出响应,将速度减缓或直至停止。此外,行李箱可智能跟随使用者移动,解放出行人员双手,不用担心行李问题,从而可以处理其他问题。

summernote-img

3 智能行李箱功能流程图

若选择待机模式,此模式下智能行李箱将提供远程实时监控,实现远程监控,从而为出行人员的行李保驾护航;同时实行自动刹车功能和强行移动报警等功能,其车轮上相应的刹车结构会抱锁住车轮将行李箱锁在原地,若有人强行移动则行李箱报警并传递到蓝牙APP

智能行李箱主程序流程图如图4所示。

当智能行李箱开启时系统自动进行初始化,以及各模块进行初始化,紧接着控制器不断判断用户选择模式,控制器会根据用户的选择执行相应的功能,用户可根据自己需求进入或退出相应模式。

2.拟解决的问题

 (1) 视觉识别问题:强烈的阳光、灯光或幽暗的环境均可能对摄像头成像造成影响,进而导致跟随效果不稳定或失效。同时,需要优化视觉识别算法,以增强其在复杂环境下的判断能力。

(2) 结构设计问题:实物已经初步制作完成,总体结构仍在完善阶段,各元件仍需要确定具体的放置位置。

summernote-img

4 智能行李箱系统控制流程图

(3) 软件操控问题:目前基于视觉的智能行李箱仍然需要制定相应操控程序,需要运行多次来实验是否能按程序进行相应操作。

(4) 内部算法准确性问题:关于智能行李箱在智能跟随时的精准性需要提升;PID控制程序算法设计应当更好地控制行李箱的功能操作;应处理单片机对大量直流电机转速、舵机角度的精确控制。

3.预期成果

(1) 设计制作出效果达到要求的基于视觉智能行李箱实物,并通过实验验证基本功能的实现;

(2) 申请相关专利一项或发表相关论文一篇。

120244月,项目前期进行必要的调研,进行项目申请立项,查阅文献资料,确定项目研究方向与目标。合理协调好小组内部的分工,对项目的具体事宜进行必要的分析,积极向老师征求意见。

220245月至20248月,完成智能行李箱实物模型的设计制作与整体组装,以及相关的控制系统软硬件设计调试。

320249月至202412月,完成实物模型的功能测试、调整与改进等工作。

420251月至20252月,完成撰写论文等工作。

520253月至20254月,完成项目的验收和结题、答辩等工作。

团队成员现已学习数字电路、模拟电路、单片机基础、自控原理等专业理论,以及python语言基础、openMV基础等本项目其他相关知识储备;具有智能小车等设计经验和基础实验套件;具备较好的理论基础和实际动手能力。

目前我们的团队已经具备了开发出产品雏形的能力,基础功能也已经初步实现,验证了项目设计方案是基本可行的。并且团队成员分工协作,各司其职。

尽管我们已经取得了积极进展,但在行李箱的机器视觉识别和算法优化方面,我们认为仍有一些缺陷,需要进一步完善,这是我们下一步研究的重点,为此我们将加紧对相关技术学习。

此外,在持续不断地完善行李箱的核心功能的同时,我们也会深入研究各大品牌智能行李箱的外观和结构设计理念,以便能够设计出兼具实用性和美观性的作品。我们的目标是开发出一款智能化的、功能丰富、结构合理、使用方便的行李箱

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 9000.00 4600.00 4400.00
1. 业务费 4000.00 600.00 3400.00
(1)计算、分析、测试费 0.00 0.00 0.00
(2)能源动力费 0.00 0.00 0.00
(3)会议、差旅费 200.00 交通费 100.00 100.00
(4)文献检索费 800.00 打印复印 500.00 300.00
(5)论文出版费 3000.00 论文及专利 0.00 3000.00
2. 仪器设备购置费 0.00 0.00 0.00
3. 实验装置试制费 0.00 0.00 0.00
4. 材料费 5000.00 购买车底盘、摄像头、指纹模块、传感器等元器件 4000.00 1000.00
结束