“智”行合一：基于JetsonNano的智能导盲系统设计

申报人：叶子煊申报日期：2025-01-03

基本情况

所属批次:

2025年批次

项目名称:

“智”行合一：基于JetsonNano的智能导盲系统设计学生申报

项目类型:

创新训练项目

所属学科门类:

工学

所属专业类:

计算机类

项目来源名称:

学生来源于教师科研项目选题

项目归属学院:

项目期限:

一年期

项目简介:

当前，视障人士在出行过程中面临诸多安全隐患，现有导盲工具功能单一，难以全面满足需求。视障人士常因无法准确感知周围环境，如障碍物和交通信号，增加出行风险。本研究以Jetson Nano为核心平台，集成激光雷达、双目摄像头、智能语音播报、GPS导航及“忆路”应用程序，构建一款综合智能导盲系统。该系统能实时感知环境并提供精准导航，提升视障人士的出行安全性和独立性，填补市场上综合性导盲产品的空白，提供更安全、便捷的出行方案。

负责人曾经参与科研的情况:

无

指导教师承担科研课题情况:

1.基于视觉深度学习的室内移动机器人路径规划研究，广西中青年教师基础能力提升项目 2022.02-,主持。

2.相似图像多类不平衡学习的采样方法研究，国家自然科学基金-地区基金,2023.08-,参与。

3.面向电力需求响应的地理分布数据中心激励方法关键技术研究，2020.06-2024.04，参与。

4.基于深度强化学习的RIS辅助车载边缘计算任务卸载与资源分配方法研究，国家自然科学基金-专项项目，2023.12-，参与。

指导教师对本项目的支持情况:

指导老师在项目发展的重要节点给予团队成员线下的商业化策略和软件系统的设计实施的指导与帮助，提出多条建议及整改意见；同时在项目的技术研发阶段引导团队成员进行系统开发，提出多种技术模型与多条建议，并指导团队成员进行成果转化。

项目级别:

国家级

项目成员

序号	学生	所属学院	专业	年级	项目中的分工	成员类型
1	叶子煊	计算机科学与工程学院	计算机科学与技术（应用）	2023	嵌入式软件开发、微信小程序开发	第一主持人
2	庞维佳	计算机科学与工程学院	物联网工程	2023	调研盲人的现状及相关科技的研究	成员
3	贾昕玥	艺术学院	产品设计	2023	商业计划书	成员
4	谢金汶	计算机科学与工程学院	人工智能	2023	嵌入式系统电子电路的开发调试	成员

指导教师

序号	教师姓名	所属学院	是否企业导师	教师类型
1	陈文鹏	计算机科学与工程学院	否	第一指导教师
2	黎超业	计算机科学与工程学院	否	指导教师

立项依据

研究目的:

图1-1当前主要导盲方式

随着科技的发展，视障人士的生活质量逐渐提高，但在出行方面的特殊需求仍然未得到充分关注。尤其在智能时代的背景下，视障人士面临着智能导盲技术的准确性不足、设备依赖性过强，可能导致风险以及城市基础设施无障碍设计缺乏新的出行困境，亟需创新的解决方案。而智能导盲系统是辅助视障人士出行的主要形式，现有技术的到来虽然提供了便利，但也存在一些局限性，这在一定程度上限制了视障人士的全面融入社会。一方面，现有技术提高了视障人士的出行安全性，另一方面也促使我们探索更高效、更智能的导盲系统。

本研究旨在了解视障人士在出行中遇到的具体状况，分析现有导盲技术与视障人士需求之间的关系，并在此基础上研究智能导盲系统的优化机制。我们探索如何通过技术创新保障视障人士的出行安全，从多个主体（如技术提供者、政策制定者、社会公众等）给视障人士赋能，为提升他们的出行安全性和生活独立性水平提出合理化建议。

1.社会背景

我们在日常生活中很少看到盲人独立出行，盲道上几乎看不到他们的身影，而在超市、图书馆、电影院、公园等生活场所更是难以发现盲人的踪迹。这并不是因为我国盲人数量稀少，相反，根据2019年的数据，我国的盲人数量已超过1700万人，成为世界上视力残疾人数最多的国家之一。盲人出行主要依靠步行，长距离出行则往往需要他人陪同或借助导盲犬和导盲工具。然而，由于盲道普及率低且不完善，加之经常被非法占用，以及公园、公共厕所、宾馆等公共服务场所缺乏盲道指引或盲文标识，盲人在单独出行时极易遇到磕碰、迷路等危险，我国盲人的出行之路充满了重重障碍。

据相关调查显示，大约70%的盲人与父母同住，并且他们的外出活动频率较高，有65%的盲人表示他们需要每天外出活动，如上学、上班等。只有大约5%的盲人表示很少出门。这表明盲人群体有着固定的外出需求，他们的外出时间通常在1到2小时之间。

图1-2盲人外出活动频率分布

因此，为盲人提供安全、便捷的外出条件的重要性。通过提供更先进的导盲工具和服务，可以进一步促进盲人的社会参与和生活质量的提高。智能导航产品对于盲人群体来说显得尤为重要，市场需求量大，这些产品不仅能协助他们外出，还能保障他们的安全。

2.行业背景

目前，盲人智能导航产品相较于以往有了显著的发展，产品类别更加丰富多样。市场上不仅出现了各类助行产品，而且一些新兴技术也开始被集成到智能导航设备中。这些产品主要分为四大类：手杖类、手持类、穿戴式和移动式助行产品，如图1-3所示。

图1-3盲人助行产品

尽管国内外对于盲人助行产品的种类有所扩展，但主流销售产品仍然以手杖类为主。研发领域涵盖了手持类助行产品、穿戴式助行产品和移动式出行产品等几大类别。然而，这些产品在操作使用的简洁性、功能的多样性以及设备的便携性方面仍有待提升，尚未达到理想状态。

据统计，在盲人助行产品设备的外形需求方面，如图1-4所示，30.07%的人青睐于绑腿式导盲设备；25.87%的被调查者选择脚穿式导盲设备；22.38%的倾向于头戴式导航设备。选择手持式导盲设备、导盲杖和机械导盲犬的人数占比较低。可见大多数盲人更喜欢穿戴式的导盲设备，而非手持、手扶式的器械。

图1-4 盲人助行产品设备

近年来，随着各行各业的持续发展，公众对盲人群体的关注程度日益提高。盲人助行产品市场的需求趋势不断上升。研究者们不断对产品进行优化，采用了简洁的人机界面设计，确保了功能的明确性和操作的便捷性，有效避免了盲人在使用过程中因视觉障碍而受到的干扰。合理的交互设计使得助行设备能够快速且方便地进行信息的输入与输出，从而显著提升了盲人产品的人机交互体验。这样的设计使得盲人与助行产品之间的交互过程更加自然、贴近生活，并且智能化。

研究内容:

本项目旨在采用激光雷达、双目摄像头、语音模块和Jetson Nano开发板进行集成与优化，开发一款智能导盲设备，以提供精准的环境感知、可靠的障碍物识别和便捷的用户导航体验，提升盲人的出行安全性和自主性。

图2-1 基于Jetson Nano的智能导盲系统设备图

图2-2 雷达模型图

通过高精度传感器的集成，我们将重点优化激光雷达与双目摄像头的性能，提高检测精度和识别率，涉及传感器标定、数据同步与融合等关键技术。同时，项目将开发高效的障碍物检测与识别算法，实时处理激光雷达和双目摄像头的数据，准确判断障碍物的位置和属性。在定位导航方面，将研究适用于盲人出行的室内外定位方法、地图数据集成及路径规划和导航算法，结合盲人的行走习惯与周围环境信息，提高导航的准确性和可靠性。我们将设计直观易懂的人机交互界面，确保盲人方便接收和使用系统提供的信息，包括系统播报内容和格式、响应速度等。最后，将在实际环境中对系统进行全面测试与评估，确保性能稳定且满足用户需求。

以下设备是本项目所需要用到的设备，具体设想是设计一款集成雷达和摄像头的智能帽子，该帽子能够实时监测周围环境，并通过语音系统及时提醒盲人前方的障碍物并提供导航指引。此外，盲人将背负一个特制的背包，内装有电路板和电池，为整个系统提供持续稳定的电力支持，确保设备全天候运行无间断。

图2-3 初步设想智能帽子

图2-4 初步设想智能背包

国、内外研究现状和发展动态:

1.国内研究现状

导盲设备和方法：国内解决盲人出行的方法主要包括使用导盲犬引导、超声波探测式盲杖及一些自主研发的导盲设备。然而，导盲犬驯养成本高，且在一些公共场所如地铁和商场等区域的使用仍存在争议。

智能导盲设备：近年来，国内也提出了多种电子导盲方式，例如北京理工大学珠海学院提出的基于RFID的盲人导航系统。该系统利用智能盲杖读取地面RFID标签，通过无线设备将信息传输至手机，手机通过调用语音文件完成播放。然而，这些设备在灵活性、空间占用和功能拓展方面仍有不足。

智能导盲杖：市场上现有的智能导盲杖多数功能单一，缺乏高科技功能如语音避障导航等。智能导盲杖在研发上需要解决障碍物定位精确度、路况类型、人机交互响应时间和反馈准确度等问题，同时还要将导航系统与实际街道有效结合。

2.国外研究现状

导盲机器人和可穿戴设备：国外在导盲设备的研究方面起步较早，主要包括电子式行进辅具、手杖式行进辅具、穿戴式行进辅具和移动式导盲机器人等。例如，美国大学机器人实验室Shoval开发的腰带式行动辅具NavBelt，以及各种基于传感器的手杖和可穿戴设备。

基于RFID的导盲系统：欧盟正在进行一项旨在为盲人开发基于RFID的道路指示的研究计划，属于SESAMONET计划的一部分。目前一个10人的专家组正在测试意大利的三条试验道路。在交叉路口，这套系统可以帮助避免事故的发生，即发送激活通过信号来给过往人员和车辆示意有人将要过马路，保障盲人安全。日本也在进行基于RFID技术的导盲系统的研究，不过该研究并不使用导盲杖，而且阅读器也放在盲人身上。

3.发展动态

市场需求增长：随着老龄人口的增加和视障人群基数的扩大，视障人士辅助技术市场的需求将持续保持增长态势。

技术创新趋势：未来，随着科技的进步，导盲技术将朝着更智能、更高效的方向发展，例如利用计算机视觉、机器学习等技术提高导盲设备的性能。

多主体参与：技术创新不仅需要技术提供者的努力，还需要政策制定者和社会公众的参与，共同推动视障人士出行安全性和生活独立性水平的提升。

创新点与项目特色:

多功能整合：该系统将激光雷达、双目摄像头、定位导航功能和语音播报整合在一起，通过嵌入式电路板和电池实现了便携式的盲人导航系统。这种多功能整合的设计使得盲人可以通过一款设备获取多种信息，提高了导航的准确性和便利性。

实时感知和智能语音交互导航：激光雷达和双目摄像头能够实时检测前方障碍物和识别物体，为盲人提供了全方位的环境感知能力。结合定位导航功能，系统通过耳机不断播报前方的障碍物情况，并给出具体的行走指引，使盲人能够通过语音交互方式获取导航信息，提高了导航的便捷性和可操作性。

紧急呼叫功能：设计了紧急呼叫功能，用户在遇到突发情况时可以迅速求助。这一特色不仅提高了用户的安全性，也增强了他们在外出时的信心。

大容量电池设计：为了确保设备在长时间使用中的稳定性和可靠性，我们采用了大容量电池。这一设计显著提升了设备的工作时间，用户可以在日常生活中安心使用，无需频繁充电。

个性化设置：设备支持个性化设置，用户可以根据自己的需求调整语音播报的语速、音量等参数，提供更加贴心的使用体验。

综上所述，该项目的创新点在于将多种功能整合在一起，实现了实时感知和智能导航，通过语音交互方式为盲人提供个性化的导航服务，同时在嵌入式开发和硬件模块实现上具有显著的技术特色。这些特点使得该系统能够有效帮助盲人解决出行难题，提高他们的出行安全性和独立性。

技术路线、拟解决的问题及预期成果:

1.项目的技术路线

硬件整合：集成激光雷达、双目摄像头和GPS导航技术。使用Jetson Nano作为处理平台。

性能优化：提高激光雷达与双目摄像头的检测精度和识别率。进行传感器标定、数据同步与融合。算法开发：开发高效的障碍物检测与识别算法。实时处理激光雷达和双目摄像头的数据，准确判断障碍物的位置和属性。

定位导航研究：研究适用于盲人出行的室内外定位方法。整合地图数据并进行路径规划和导航算法设计。

人机交互设计：设计直观易懂的人机交互界面，确保盲人用户能够方便接收信息。优化系统播报内容、格式和响应速度。

实地测试与评估：在实际环境中对系统进行全面测试，确保性能稳定且满足用户需求。

2.拟解决的问题

环境感知不足：现有系统对视障人士的实时环境感知能力有限，难以准确判断周围障碍物。

导航准确性不足：传统导航系统在复杂环境中的定位和路径规划不够精准。

用户友好性差：现有导盲设备的人机交互界面不够直观，使用不便。

安全性问题：缺乏有效的障碍物检测手段，增加了视障人士出行的风险。

3.预期成果

高精度感知系统：实现高效的环境感知，显著提高障碍物检测和识别的准确性。

精准导航服务：提供可靠的室内外定位和路径规划，提升盲人出行的安全性和便利性。

友好的用户界面：设计符合视障人士需求的人机交互界面，确保信息传递的清晰和快速。

实用性验证：通过实际环境测试，确保系统的稳定性和有效性，满足用户的实际需求。

项目研究进度安排:

阶段一：需求调研和技术选型

第1个月：对盲人导航需求进行深入调研，包括与盲人用户的沟通、实地考察等。以及进行激光雷达、双目摄像头、嵌入式开发板等关键硬件设备的评估和选型，选择合适的硬件设备。

阶段二：系统设计和功能规划

第2-3个月：完成系统整体架构设计，确定各个硬件模块之间的连接方式和数据交互方式。

第4个月：细化功能规划，包括各个子系统的设计和规划，确立开发方向和技术路线。

阶段三：软件开发和硬件集成

第5-7个月：开始软件开发，包括嵌入式系统的程序编写、图像识别算法的实现、语音交互功能和应用程序的开发等。

第8-9个月：硬件集成，将各个硬件模块进行连接和调试，确保各个模块能够正常工作并进行数据交互。

阶段四：功能测试和优化

第10个月：进行系统功能测试，包括激光雷达和摄像头的环境感知能力测试、语音交互导航功能测试等。

第11-12个月：根据测试结果进行系统优化，改进算法和功能模块，提高系统的稳定性和准确性。

已有基础:

与本项目有关的研究积累和已取得的成绩:

1. 与本项目有关的研究积累和已取得的成绩

辅助技术的开发：多种基于视觉、听觉和触觉的辅助技术被开发，如基于RGB-D相机、全景环带相机和事件相机的辅助避障和定位技术，以及基于双目视觉的盲人电子行走辅助系统模型。

智能设备的应用：智能手机、可穿戴设备和导航眼镜等智能设备的应用，整合了GPS定位、语音播报、红外线障碍检测等功能。

无障碍环境的构建：智慧城市的建设推动了无障碍设施的系统化、智能化和人性化发展。

社会支持和政策制定：政策的实施如允许盲人参加高考、导盲犬乘坐地铁等，改善了视障者的出行条件。

2. 已具备的条件，尚缺少的条件及解决方法

设备支持：已有Jetson Nano开发板、激光雷达和双目摄像头等设备。

图7-1 基于Jetson Nano的智能导盲系统设备图

技术基础：已有的辅助技术和智能设备为视障者提供了较好的出行辅助。项目已成功集成GPS和雷达模块，实现手动录音、播放音频及声音大小调试。GPS模块通过接收卫星信号，精确获取经纬度和海拔信息，适用于定位型、导航型及授时型应用。雷达模块能识别120度范围内障碍物，聚合反射激光识别独立障碍物，输出角度从-60度至60度。语音转文字功能开发中，已申请API，正优化音频文件路径配置，以实现自动录音转文本。当前挑战在于定位生成文件存储路径.

测试用例：

只有一个白盒子，距离大概0.2m，角度处于大概-175度。

在上一个情景的情况下再加入第二个白盒子，此时显示距离大概0.1m，角度处于大概-136度。完成最近障碍物的检测。

测试位置：桂林理工大学雁山校区七栋三楼。获取的经纬度信息、海拔等信息如下图。

经费支持：获得2024大学生创新创业训练计划项目校级立项经费支持。

政策支持：政府在无障碍出行方面提供了政策支持和法律保障。

社会意识：本项目不仅得到了社会各界的广泛关注，还荣幸地受到了区级领导的亲自视察与专业指导。领导们对项目的创新性和实用性给予了高度评价，并提出了宝贵的意见和建议，这对项目的进一步发展和完善起到了积极的推动作用。

图7-2 区级领导视察

数据收集与分析：本次调查旨在深入了解盲人用户及其家属、照顾者对智能导航设备应用程序的需求和期望。在这科技发达的时代潮流下，智能导航设备在提升盲人出行安全和便利性方面发挥着越来越重要的作用。因此，了解相关用户的具体需求和关注点，对于优化产品设计、提升用户体验至关重要。通过在线问卷、面对面访谈和焦点小组讨论，我们收集了429份相关人员的反馈。

调查结果显示，参与者普遍关注导航APP的安全性与实用性，特别是自动呼救、出行提醒和位置通知等功能被认为是盲人所需要的。同时，用户对界面友好性和操作简便性的重视，也反映了在设计过程中需考虑的关键因素。此外，个性化设置如导航语音选择和提示音量调节等也被认为是提升用户体验的重要方面。

通过此次调查，我们希望为未来的产品开发和功能优化提供有价值的参考，以更好地满足盲人用户及其辅助人员的需求，推动智能导航设备的普及与应用。

根据数据分析，用户在使用该app时，认为“操作简单”是提升体验感的最重要因素，达到了84.85%的选择比例，显示出用户对简易操作的强烈需求。其次，“界面清晰”和“实时显示盲人用户的位置”也得到了较高的认可，分别为72.26%和72.49%。这些结果表明，用户在使用app时，界面的设计和操作的便捷性是关键因素。“详细的帮助和说明”虽然也有68.3%的选择比例，但相较于其他选项，重要性略低，说明用户在使用过程中可能更倾向于直观的操作体验，而非依赖于帮助说明。此外，“通知和提醒功能”获得了69.93%的支持，也显示出用户希望通过及时的信息反馈来增强使用体验。

图7-3使用app时，盲人家属需要的体验感

导航语音选择是最受欢迎的个性化设置，选择比例高达88.58%。提示音量调节和提示频率调整也得到了较高的关注，分别为81.82%和78.79%。而“其他”选项的反馈较少，仅占2.8%，表明参与者对个性化设置的关注主要集中在上述三项。

改进建议：

1.加强导航语音的多样性：考虑提供多种语音选择，包括不同的语调和语言，以满足不同用户的偏好。

2.优化音量调节功能：确保音量调节的灵敏度和可操作性，以便用户能在不同环境下快速适应。

3.增加提示频率的灵活性：提供更多的频率选项，让用户可以根据自己的需求进行个性化调整。

4.收集更多用户反馈：虽然“其他”选项的反馈较少，但仍建议通过调查或访谈收集用户的具体需求，以便进一步改进产品。

图7-4 app的个性化设置

已具备的条件，尚缺少的条件及解决方法:

1.技术的普及率：尽管技术发展迅速，但普及率仍有待提高。

解决方法：通过政府和社会组织的推广，降低成本，使更多视障者能够负担和使用这些技术。

2.设备的用户友好性：一些设备可能因为携带不便或学习成本高而不被广泛接受。

解决方法：进行人因工程设计，简化操作流程，提高设备的便携性和易用性。

3.夜间或光线较弱环境下的导航问题：基于视觉的系统可能在这些环境下表现不佳。

解决方法：开发更多基于非视觉传感器的技术，如超声波、红外线等，以提高在各种光照条件下的性能。

4.社会层面的支持：需要更多的社会支持和政策推动来进一步改善无障碍环境。

解决方法：加强宣传教育，提高公众意识，同时推动相关政策的制定和实施，如无障碍设施的建设和维护。

5.持续的资金支持：项目可能需要持续的资金支持以进行研发和市场推广。

解决方法：寻求政府补助、企业赞助和众筹等多种资金来源。同时，制定详细的财务计划，确保资金的有效使用。

经费预算

开支科目	预算经费（元）	主要用途	阶段下达经费计划（元）
开支科目	预算经费（元）	主要用途	前半阶段	后半阶段
预算经费总额	10000.00	无	6900.00	3100.00
1. 业务费	6500.00	购买科研相关书籍	4900.00	1600.00
（1）计算、分析、测试费	1000.00	购买高性能软件工具使用会员	600.00	400.00
（2）能源动力费	0.00	无	0.00	0.00
（3）会议、差旅费	4500.00	用于外出科研的住宿伙食	3500.00	1000.00
（4）文献检索费	700.00	购买文献	500.00	200.00
（5）论文出版费	300.00	购买论文	300.00	0.00
2. 仪器设备购置费	3000.00	购买及维护设备	2000.00	1000.00
3. 实验装置试制费	0.00	无	0.00	0.00
4. 材料费	500.00	购买科研材料	0.00	500.00

结束