详情

基于深度学习的老年人群摔倒报警系统开发

申报人:贺伟健 申报日期:2024-05-30

基本情况

2024年批次
基于深度学习的老年人群摔倒报警系统开发 学生申报
创新训练项目
工学
电子信息类
学生自主选题
一年期
面对老年人口快速增长,国家对于老年人的健康越发重视。摔倒是我国伤害死亡的第4位原因,而在65岁以上的老年人中则为首位。据统计,我国每年约发生2500万起老人意外摔倒事件。 针对老年人独居且摔倒后难以行动的特点,减少因跌倒未能及时得到救助而导致伤害或死亡的情况,采用现代电子技术和网络技术,通过神经网络的深度学习优化摔倒检测算法,设计开发一款基于STM32单片机和ESP32的老年人群摔倒报警系统。该系统可实现预测摔倒、自动报警、检测生理状态等功能,从而减少摔倒对老年人的伤害。

神显豪老师近些年承担的部分代表性科研项目:

1)国家自然科学基金项目,多UAV协作的大规模传感网并发充电模型及其服务机制研究。

2)广西自然科学基金项目,大规模传感网中可多位置同时充电的合作博弈协作式移动充电规划方法研究。

3)广西科学研究与技术开发项目,高精度快速成形3D打印机的研发与产业化。

4)国家自然科学基金项目,无线传感器网络移动节点三维定位技术研究。

 

陆绮荣老师近些年承担的部分代表性科研项目:

1)广西自然科学基金项目,流程工业在线检测、分析排污废气技术和系统的研究。

2)企业委托项目,地下排污管道自动检测与预警系统。

3)企业委托项目,155Mb/s大气光传输(FSO)传输系统。

4Lu Qirong, Liang Qianmin, Chen Jiqiu, Xia Jiwei. Image Edge Detection Method Based on Ant Colony Algorithm. Communications in Computer and Information Science. Volume1059:179-185.(EI20194107513849)

指导老师长期从事电子信息工程专业方面的教学和科研工作,

曾多次指导本科生大创项目,具有较强的工作责任心、认真负责的工作态度,能够为本项目提供专业指导。
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
贺伟健 物理与电子信息工程学院 电子信息工程(应用) 2021 项目总体负责人
辛海莹 计算机科学与工程学院 软件工程 2021 算法技术支持
周佩霖 物理与电子信息工程学院 通信工程 2021 系统技术支持
王远鸿 物理与电子信息工程学院 电子信息工程(应用) 2021 系统技术支持
曾俊宇 商学院 物流管理 2022 财务分析

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
神显豪 物理与电子信息工程学院
陆绮荣 计算机科学与工程学院

立项依据

截至2023年底,我国60岁及以上老年人口达2.97亿,占总人口比重达21.1%,人口老龄化的趋势还在逐步上升,对于老年人健康的关注已经刻不容缓。我国每年约发生2500万起老人意外摔倒事件。相对于年轻人,老年人反应较为迟缓,摔倒在地时往往来不及反应,所以一般都摔的比较重。另外,老年人普遍存在骨质疏松,受到外力很容易发生骨折,而且一旦出现骨关节损伤则恢复起来十分困难。更重要的是,如果一旦摔到头部等重要部位,救援不及时,后果无法想象。

在老龄化趋势逐渐上升的当今社会,国家在2023年印发了《关于推进基本养老服务体系建设的意见》。意见指出要更好地保障老年人生活,增强老年人的安全感。重视老年人的健康安全已刻不容缓。本项目以先进的现代电子技术和网络技术实现基于深度学习的老年人群摔倒报警系统开发的开发,这不仅仅是落实国家提倡推动建设养老体系的重要内容,还体现当今社会的人文关怀。

1.系统设计

基于深度学习的老年人群摔倒报警系统主要包括:加速度模块、体征数据模块、网络通信模块、云服务器、控制模块、定位模块、蜂鸣器模块、显示模块。控制模块主要采用STM32单片机对加速度模块检测到的合加速度进行分析,判定是否为摔倒,若摔倒,则将体征数据模块检测到的人体温度和心率数据以及当前定位通过网络通信模块上传到云端发送到急救中心。网络通信模块主要采用ESP32模块,利用其移动通信技术进行通信,与STM32和云服务器进行实时通信。云服务器主要采用虚拟化技术搭建,对来自网络通信模块的数据进行分析处理。采用手机APPWEB网页通过网络技术对老年人群摔倒报警系统上传的数据进行管理,开启关闭相关的功能。蜂鸣器模块和显示模块在老人摔倒后负责现场报警,并将个人档案显示在系统的屏幕上。

  总体框图如图表1所示:


summernote-img

图表 1 总体框图

 

2.深度学习优化摔倒检测算法

MPU6050测量出三轴加速度,系统再进一步计算出合加速度,来完成摔倒检测算法。查阅资料以及实验发现,摔倒大致可以分为三个过程:失重,刚倒地和摔倒后。在失重时,平均合加速度小于0.6倍重力加速度。在刚倒地时会有一个合加速度大于4倍重力加速度超重阶段。摔倒后,存在至少一个角度大于100°。当检测到失重超重以及角度大于100°,即可判断为摔倒。程序流程如图表2

summernote-img

图表 2 程序流程

通过实验人员穿戴MPU6050传感器,模拟真实场景的各种摔倒和各种姿势,多次实验得到足够的三轴加速度以及角度数据,将摔倒与非摔倒的数据进行分类,建立数据集,再通过深度学习来优化算法,降低虚警率。这里使用的深度学习模型是CNN-LSTM混合模型。CNN-LSTM混合模型是结合卷积神经网络(CNN)和长短期记忆网络(LSTM)的混合模型,这种混合模型能够同时捕捉数据的时空特征和时间序列依赖性。

优化过程大致分为三个阶段。第一个阶段对原始的三轴加速度信号进行数据预处理。第二个阶段提取特征(合加速度、角度、均值、标准差、峰值)来辅助深度学习模型。第三个阶段模型设计、训练、评估以及优化。

1.国内发展现状及动态

    目前常见的主要有三类跌倒检测系统:基于穿戴式设备的、基于环境传感器、以及基于视频传感器的人体跌倒检测系统。基于环境传感器和视频传感器的局限性,注定了只能在居家的情况使用,并不方便且成本极高。所以国内目前主要主流的跌倒检测系统都是基于穿戴式设备。

以下为国内相关现有问题:

      国内穿戴式设备品类繁多,目前智能手环,智能手表是穿戴式设备的热门品类。针对老年消费群体的智能穿戴设备相关产品也数量众多。但在仔细调查后发现,大多数针对老年消费群体的智能穿戴设备配有的功能往往是大屏幕、大字体、GPS定位、心率检测等,配有摔倒检测的老年智能穿戴设备少之又少。

      配有摔倒检测功能的产品,一部分是来自老年智能设备品牌,作为主要卖点;更多一部分是来自面向年轻人的智能设备品牌,作为小众功能出现。前者数量少已提过,后者的这类产品在适配老年群体上还有一定欠缺,操作过于复杂。

      目前配有摔倒检测的老年智能设备还处于一个比较尴尬的地位,市场空缺还比较大

 

2.国外发展现状及动态

在欧美已经形成了较为成熟的解决方案,即面向居家环境的医疗警报系统,并涌现了许多如Bay Alarm Medica等医疗警报系统服务商。他们为用户提供的是: 智能终端硬件+24小时警报应答转报医疗机构服务。其设备和服务都需要分开付费,且是续费制。

以下为国外相关现有实例:

Aloe Care Health:采用壁挂式设计。除了具有内置跌倒检测功能的移动设备外,该公司还提供了一个可以安装在浴室墙壁上的跌倒检测按钮。通过绘制浴室布局的数字地图,它可以准确地检测到你何时跌倒。该系统还可以在发生误报时使用语音命令。

Bay Alarm Medical:采用吊坠形式。SOS Mobile内置了跌倒检测功能。大小为2.7英寸*1.3英寸大小,该设备配备了扬声器、求助按钮和跌倒检测功能,具有IP67级防水性能。但启用跌倒检测则需要额外支付每月10美元费用。

 

(一) 创新点与项目特色

(1)    该系统使用深度学习CNN-LSTM混合模型优化摔倒识别算法,可以预测老人摔倒,及时反应报警,以免救援时间的无意义的浪费。

(2)    该系统分级警报,若老人摔倒后能自行起身,则会向紧急联系人报警;若老人摔倒后无法起身,则会向急救中心报警。

3 该系统可用手机APPWEB网页远程控制老年人群摔倒报警系统功能的启用,实时查看体征数据。并且可将姓名、过往病史,身高体重,家庭住址,联系电话、紧急联系人等信息保存在个人档案,发生意外时一并将个人档案发送给急救中心。

4)该系统在摔倒行为发生且老人无法行动时,会将老人的实时体温心率定位个人档案的数据一并发送到急救中心。同时现场警报并将云端的个人档案显示在设备的显示屏上,方便路人协助报警,进行“双重验证”。即云端报警一次和路人报警一次。受伤者的个人资料、伤情、体征以及定位信息,急救中心可以与协助者进行核对,从而减少急救中心验证实况的时间,并大幅减少虚假报警的情况。

5)该系统采用“就近原则”,使用大数据选出交通情况最优,距离最近的急救中心报警。

技术路线如图表3所示:


summernote-img

图表 3 技术路线

1.  加速度模块

加速度模块主要采用MPU6050来测量出三轴加速度。MPU-6050 对加速度计分别用了三个16 位的ADC0~65535),将其测量的模拟量转化为可输出的数字量。

2.  体征数据模块

体征数据模块主要采用MAX30205检测人体体温,MAX30102检测人体心率。MAX30205模块输出捕获ADC平均有效值换算成电压值,根据驱动例程提供的数据表,用电压值匹配对应温度值。MAX30102模块将LED光射向皮肤,然后透过皮肤组织反射回的光被光敏传感器接受并转换成电信号再经过AD转换成数字信号,再由光电容积脉搏波描记法得出心跳速率。

3.网络通信模块

网络通信模块主要采用ESP32模块,利用其WIFI功能或移动通信技术进行双方面通信,一方面实现与STM32进行实时通信,另一方面则实现与云服务器进行实时通信。

4.云服务器

云服务器模块主要采用虚拟化技术搭建,对来自网络通信模块的数据进行分析处理以及对来自管理模块的操作指令进行识别并处理。

5.定位模块

定位模块使用AIR530,该模块支持GPS/北斗/Glonass/Galileo/QZSS/SBASAir530模块能够同时接收6颗以上的卫星。 

6.管理模块

控制模块主要采用STM32单片机对加速度模块实时状态数据进行获取并分析,判断是否有摔倒行为发生。

7.蜂鸣器模块

使用有源蜂鸣器,有源蜂鸣器内部带震荡源,只要通电就能警报。当摔倒行为发生时,系统通过蜂鸣器来现场警报。

 8.显示模块

采用 7针的0.96OLED显示屏幕,采用的是SPI协议,速度比采用I2C协议的更快,当摔倒行为发生会将云端的个人档案显示到系统的OLED屏幕。

9CNN-LSTM混合模型

CNN-LSTM混合模型是结合卷积神经网络(CNN)和长短期记忆网络(LSTM)的混合模型。

卷积神经网络(CNN)善于从局部区域提取特征,非常适合处理传感器信号的时空特征。长短期记忆网络(LSTM)擅长捕捉时间序列中的长时间依赖关系,能够有效处理时间上的变化和连续。CNN-LSTM混合模型:CNN提取局部特征,LSTM处理时间序列依赖,两者结合可以更准确地检测和预测摔倒事件。混合模型能够处理更复杂的情况,例如摔倒后的挣扎,通过结合局部和全局特征,可以减少虚警率。

 

拟解决问题:

    学习关于ESP32的无线传输功能的相关知识及结合实际应用。

    学习STM32单片机的开发和应用。

    学习摔倒算法的设计,并学习CNN-LSTM混合模型的设计与使用。

    学习基于Android手机 APP的开发以及WEB网页设计。

    学习设计云服务器相关知识以及开发。

 

预期成果:

采用本系统可实现对老年人群摔倒的智能检测和及时报警,提升应急响应速度,节省宝贵时间,提高安全保障。同时,该系统拥有预测摔倒、线上管理、大数据结合以及定位等实用功能,从而进一步提高老年群体的生活质量和安全水平,确保在意外发生时能够迅速得到专业救助和及时关怀。

 


 

项目研究进度安排

时间

项目计划安排

2024.05

掌握相关资料,制定确切的研究方案,拟定项目申报书

2024.06-2024.07

学习掌握软硬件技术,学习算法和深度学习模型

2024.08-2024.09

编写ESP32STM32程序及云服务器的开发

2024.10-2024.11

检测所编写的程序软件是否可运行

2024.12-2025.01

制作研究相关硬件

2025.02-2025.04

调试是否可行并修改

2025.05

产品验收提交,撰写结题报告,出版论文


1.  与本项目有关的研究积累和已取得的成绩

本项目团队成员大多为物理与电子信息工程学院和计算机科学与工程学院的学生,各自擅长硬件技术与软件技术,拥有一定的专业知识基础和实践动手能力

团队指导老师神显豪老师与陆绮荣老师,均为物理与电子信息工程学院的教授,长时期从事电子信息工程专业方面的教学和科研工作,参加过多项研究,具有丰富的实践经验,为本项目提供专业指导。

团队负责人贺伟健,电子信息工程专业大三学生,有一定的实践能力,专业课成绩较为优秀,对嵌入式开发有着浓厚兴趣,参加过蓝桥杯(单片机组)比赛、互联网+等竞赛。团队成员曾俊宇,物流管理大二学生,曾参加商业挑战赛、互联网+、挑战杯等比赛,获力源杯青年领军计划第一届超级管培生商业挑战赛超级方案奖、第九届互联网+大赛项目区级铜奖、第十六届君健之光法律知识竞赛非专业组优秀奖等;团队成员王远鸿,电子信息工程专业大三学生,有着丰富的创新赛事经验和扎实的专业基础,同年参加过蓝桥杯(单片机组),全国大学生电子设计大赛等比赛;团队成员周佩霖,通信工程专业大三学生,擅长电路原理图的设计及ESP32等开发板的实践经验,动手能力强;团队成员辛海莹,软件工程专业大三学生,擅长软件编程,具有一定的算法知识和APP端实时数据的分析与处理经验,具有扎实的专业基础,项目策划能力出众,思维活跃,对服务器的开发具有浓厚的兴趣,也有一定的开发经验。

前期准备中,团队成员已查阅了大量与本项目直接相关的技术资料,指导老师给团队成员详细讲述了本项目研究的关键技术和研究方法。

立项的基本条件已经具备,团队成员已确定项目所需的技术和方案。目前尚欠缺的是将本系统变得更为轻量化以及对于深度学习模型的知识还不够成熟。相信在指导老师的指导下,经过团队成员的努力,一定能够顺利完成本项目的研究开发工作,保证本次创新训练计划按时结题。

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 20000.00 用于项目设计 11000.00 9000.00
1. 业务费 8400.00 各项业务 3400.00 5000.00
(1)计算、分析、测试费 2500.00 检验相关软件硬件等 1200.00 1300.00
(2)能源动力费 800.00 其余相关备用物品 400.00 400.00
(3)会议、差旅费 2000.00 进行相关差旅会议 800.00 1200.00
(4)文献检索费 1600.00 搜集查阅相关论文文献 1000.00 600.00
(5)论文出版费 1500.00 实用新型专利及论文版面费 0.00 1500.00
2. 仪器设备购置费 5000.00 购置实验设备 3000.00 2000.00
3. 实验装置试制费 4000.00 购买相关实验装置 3000.00 1000.00
4. 材料费 2600.00 购买系统设计所需硬件和测试调试所需工具 1600.00 1000.00
结束