桂林理工大学

详情

盲人智能导航系统

申报人：周剑华 申报日期：2024-05-31

基本情况

2024年批次
盲人智能导航系统 学生申报
创新训练项目
工学
计算机类
学生来源于教师科研项目选题
二年期
这个项目的内容是基于现代科技的智能辅助系统，旨在利用激光雷达、双目摄像头和定位导航功能，为盲人提供实时的环境感知和导航支持，以提高他们的出行安全性和独立性。这种系统的设计和实现对于改善盲人出行体验具有重要意义，也展现了科技在为社会弱势群体提供帮助方面的潜力和意义。
无
1.基于视觉深度学习的室内移动机器人路径规划研究,广西中青年教师基础能力提升项目
2022.02-,主持。
2.相似图像多类不平衡学习的采样方法研究，国家自然科学基金-地区基金,2023.08-,参
与。
3.面向电力需求响应的地理分布数据中心激励方法关键技术研究，2020.06-2024.04，参
与。
4.基于深度强化学习的 RIS 辅助车载边缘计算任务卸载与资源分配方法研究，国家自然科
学基金-专项项目，2023.12-，参与。 
指导老师负责线下的商业化策略和软件系统的设计实施的指
导 
校级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
周剑华 计算机科学与工程学院 计算机科学与技术（应用） 2022 嵌入式系统电子电路的开发调试
翁燕莹 计算机科学与工程学院 计算机科学与技术（应用） 2022 商业计划书
陈俊良 计算机科学与工程学院 计算机科学与技术（应用） 2022 微信小程序开发
罗伦霖 计算机科学与工程学院 计算机科学与技术（应用） 2022 调研盲人的现状及相关科技的研究
梁潇予 计算机科学与工程学院 物联网工程 2022 嵌入式软件开发

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
陈文鹏 计算机科学与工程学院 否
黎超业 计算机科学与工程学院 否

立项依据

        本研究的目的是为了解决盲人出行过程中面临的障碍和安全问题。尽管在盲人导航领域已经取得了一些进展，但仍然存在着诸多挑战，比如盲人在行走时难以准确感知周围环境，容易与障碍物发生碰撞，导致安全风险。因此，这个项目旨在利用现代科技，如激光雷达、双目摄像头等，为盲人提供一种智能化的导航辅助系统，以提高他们的出行安全性和独立性。
        传感器集成与优化，旨在更好地集成激光雷达和双目摄像头，并优化它们的性能以提高检测精度和识别率，涉及传感器标定、数据同步和融合等关键技术；障碍物检测与识别算法，致力于使用高效的障碍物检测和识别算法，实时处理激光雷达和双目摄像头的数据，准确判断障碍物的位置和属性；定位导航技术，研究适用于盲人出行的定位导航技术，包括室内外定位方法、地图数据集成以及路径规划和导航算法，探索如何利用盲人的行走习惯和周围环境信息来提高导航的准确性和可靠性；人机交互设计，设计易于理解和使用的人机交互界面，确保盲人能够方便地接收和使用系统提供的信息，例如系统播报内容和格式、系统响应速度等；系统测试与评估，对系统在实际环境中进行测试和评估。
        盲人和视障人士在进行户外活动时面临着一系列实际困难，这些困难主要源于他们获取环境空间信息的能力极其有限。为了帮助这一群体更安全、独立地出行，过去十年中，研究者们开发了各种辅助设备，并探索了使用计算机视觉和机器学习，特别是深度学习方法来自动解释环境的可能性。这些研究旨在提供全面的、结构化的分析，以支持研究人员和其他利益相关者对研究进展的了解。
        在国内外的研究中，辅助技术被认为是重建视障人士生活质量的关键。例如，基于RGB-D相机、全景环带相机和事件相机等多种传感器的研究，提出了多种辅助避障和定位方法，以提高视障者的出行安全性和独立性。此外，智慧城市的建设为解决盲人出行问题提供了新的契机，通过问卷调查法、现场访谈法和自创的线路模拟调查法，得出了盲人的基本出行特征和面临的主要问题，并提出了城市盲人出行无障碍设施的发展趋势。
        然而，尽管有这些进步，盲人在出行方面仍然存在许多挑战。例如，盲道的设计不规范、遭到占用与破坏等问题，使得盲人在社会中的移动变得更加困难。此外，盲人导航/路径诱导辅具的研究表明，更具人性化、更适合于盲人导航/路径诱导的辅助工具具有重要的实用价值和社会现实意义。
        在国际研究方面，一项针对97名盲人和视障人士的调查研究了他们的户外旅行经验和与移动设备及GPS导航工具的使用情况，这些发现可能有助于开发者和研究人员理解盲人和视障人士所遭受的障碍，并找到解决报告问题的解决方案。另一项研究通过对125名参与者（包括盲人、低视力人士和行动不便的人士）进行调查，深入了解了他们在不熟悉的室内环境中的旅行行为，以及他们在规划和执行旅行时所需的特殊信息需求。
        总之，无论是在国内还是国外，对于盲人出行的研究都显示出了积极的进展，但仍然面临着许多挑战。未来的研究需要继续探索如何利用现代科技，如计算机视觉、机器学习和人工智能，来进一步提高盲人和视障人士的出行安全性和独立性。同时，也需要为盲人提供更加友好和无障碍的出行环境。本系统通过带有激光雷达和双目摄像头的智能导航系统为盲人提供了更加智能化的导航体验，通过实时检测前方障碍物并识别物体，帮助盲人安全到达目的地，展示了科技在解决盲人出行问题上的巨大潜力。 
        多功能整合：该系统将激光雷达、双目摄像头、定位导航功能和语音播报整合在一起，通过嵌入式电路板和电池实现了便携式的盲人导航系统。这种多功能整合的设计使得盲人可以通过一款设备获取多种信息，提高了导航的准确性和便利性。
        实时感知和智能导航：激光雷达和双目摄像头能够实时检测前方障碍物和识别物体，为盲人提供了全方位的环境感知能力。结合定位导航功能，系统能够根据盲人当前位置和目的地实时指引盲人行走路线，避开障碍物，提供个性化的导航服务。
        语音交互导航：系统通过耳机不断播报前方的障碍物情况，并给出具体的行走指引，使盲人能够通过语音交互方式获取导航信息，提高了导航的便捷性和可操作性。
        嵌入式开发和硬件模块实现：该系统在嵌入式设备上实现了激光雷达、摄像头数据的处理和分析，并通过语音播报实现了导航功能。这种硬件模块结合嵌入式开发的方式，使得系统能够在小型化的设备上实现复杂的功能，具有较高的实用性和便携性。
        综上所述，该项目的创新点在于将多种功能整合在一起，实现了实时感知和智能导航，通过语音交互方式为盲人提供个性化的导航服务，同时在嵌入式开发和硬件模块实现上具有显著的技术特色。这些特点使得该系统能够有效帮助盲人解决出行难题，提高他们的出行安全性和独立性 
       激光雷达和双目摄像头：需要选择合适的激光雷达和双目摄像头模块，以实现对前方障碍物的检测和环境识别。
       嵌入式开发板：选择适合的嵌入式开发板，如树莓派、Arduino等，用于处理激光雷达和摄像头采集的数据，实现数据处理和分析。
       语音交互模块：可能需要集成语音识别和合成模块，用于实现语音交互导航功能，例如使用语音识别来接收盲人的指令，使用语音合成进行导航提示。
       定位导航模块：可能需要集成GPS模块或者其他定位导航模块，用于获取盲人当前的位置和目的地信息，实现个性化的导航服务。
       电池和充电模块：选择适合的电池和充电模块，以确保系统能够持续供电并方便充电。
       软件开发：使用合适的编程语言和开发框架，可能涉及到C/C++等编程语言，结合相关的图像处理库、声音处理库等，以实现数据处理、导航算法和语音交互功能的开发。
       无线通信模块：考虑集成无线通信模块，以便远程监控和管理系统，或者与其他设备进行数据交换。 
阶段一：需求调研和技术选型
        第1个月：对盲人导航需求进行深入调研，包括与盲人用户的沟通、实地考察等。
        第1个月：进行激光雷达、双目摄像头、嵌入式开发板等关键硬件设备的评估和选型，选择合适的硬件设备。
阶段二：系统设计和功能规划
        第2-3个月：完成系统整体架构设计，确定各个硬件模块之间的连接方式和数据交互方式。
        第4个月：细化功能规划，包括各个子系统的设计和规划，确立开发方向和技术路线。
阶段三：软件开发和硬件集成
        第5-7个月：开始软件开发，包括嵌入式系统的程序编写、图像识别算法的实现、语音交互功能的开发等。
        第8-9个月：硬件集成，将各个硬件模块进行连接和调试，确保各个模块能够正常工作并进行数据交互。
阶段四：功能测试和优化
        第10个月：进行系统功能测试，包括激光雷达和摄像头的环境感知能力测试、语音交互导航功能测试等。
        第11-12个月：根据测试结果进行系统优化，改进算法和功能模块，提高系统的稳定性和准确性。 
        辅助技术的开发：多种基于视觉、听觉和触觉的辅助技术被开发，如基于RGB-D相机、全景环带相机和事件相机的辅助避障和定位技术，以及基于双目视觉的盲人电子行走辅助系统模型。
        智能设备的应用：智能手机、可穿戴设备和导航眼镜等智能设备的应用，整合了GPS定位、语音播报、红外线障碍检测等功能。
        无障碍环境的构建：智慧城市的建设推动了无障碍设施的系统化、智能化和人性化发展。
        社会支持和政策制定：政策的实施如允许盲人参加高考、导盲犬乘坐地铁等，改善了视障者的出行条件。 
        技术基础：已有的辅助技术和智能设备为视障者提供了较好的出行辅助。
        政策支持：政府在无障碍出行方面提供了政策支持和法律保障。
        社会意识：社会对视障者的需求有了更多的认识和尊重。
        尚缺少的条件及解决方法：
        技术的普及率：尽管技术发展迅速，但普及率仍有待提高。
        解决方法：通过政府和社会组织的推广，降低成本，使更多视障者能够负担和使用这些技术。
        设备的用户友好性：一些设备可能因为携带不便或学习成本高而不被广泛接受。解决方法：进行人因工程设计，简化操作流程，提高设备的便携性和易用性。
        夜间或光线较弱环境下的导航问题：基于视觉的系统可能在这些环境下表现不佳。
        解决方法：开发更多基于非视觉传感器的技术，如超声波、红外线等，以提高在各种光照条件下的性能。
        社会层面的支持：需要更多的社会支持和政策推动来进一步改善无障碍环境。
        解决方法：加强宣传教育，提高公众意识，同时推动相关政策的制定和实施，如无障碍设施的建设和维护。 

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 10000.00 购置实验设备，实验材料 6900.00 3100.00
1. 业务费 6500.00 购买科研相关书籍 4900.00 1600.00
（1）计算、分析、测试费 1000.00 购买高性能软件工具使用会员 600.00 400.00
（2）能源动力费 0.00 无 0.00 0.00
（3）会议、差旅费 4500.00 用于外出科研的住宿伙食 3500.00 1000.00
（4）文献检索费 700.00 购买文献 500.00 200.00
（5）论文出版费 300.00 购买论文 300.00 0.00
2. 仪器设备购置费 3000.00 购买及维护设备 2000.00 1000.00
3. 实验装置试制费 0.00 无 0.00 0.00
4. 材料费 500.00 购买科研材料 0.00 500.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司