桂林理工大学

详情

智能故障定位：融合麦克风阵列与视觉感知技术

申报人：高子恒 申报日期：2025-01-10

基本情况

2025年批次
智能故障定位：融合麦克风阵列与视觉感知技术 学生申报
创新训练项目
工学
电子信息类
学生自主选题
一年期
随着工业自动化和智能设备的广泛应用，机器设备的故障诊断与维护成为保障生产效率和设备可靠性的关键环节。传统的故障检测方法多依赖于单一传感器的监测，如温度、振动或电流传感器，虽然有效，但在复杂环境中，尤其是设备故障源难以明确定位时，这些方法的局限性愈加明显。 本项目旨在开发一种基于麦克风阵列和摄像头的智能故障定位设备，融合声学信号和视觉信息，精确定位机器故障发生的位置。麦克风阵列可以通过捕捉设备发出的声音信号，分析声源的方向与强度，从而识别故障信号。而摄像头则通过实时图像捕捉，帮助确认声源位置并进一步分析设备的状态。通过这两种传感器的数据融合，我们能够更加精准地识别故障发生的具体位置，尤其是在噪声较大的工业环境中，依靠单一音频信号定位往往不够精确，因此视觉辅助将显著提高定位的准确性。 这一技术不仅能够显著提升设备维护效率，减少人工干预，还能够在实际应用中适应不同类型的设备与工作环境，具有较强的通用性和灵活性。通过这种基于多模态传感器的故障检测与定位方法，企业将能够提前发现潜在的故障隐患，降低设备停机时间和维修成本，进一步提高生产线的安全性与可靠性。
2023年自治区级大学生创新训练项目，已结项
2024年自治区级大学生创新训练项目
2024年国家级大学生创新训练项目
中国国际大学生创新大赛（2024）“数广集团杯”广西选拔赛铜奖
2024大唐杯 全国大学生新一代信息通信技术大赛国家级二等奖
2024全国大学生数学建模竞赛省级一等奖
两篇普刊论文
主持并参与国家级科研项目3项，省部级科研项目3项，主持承担水利部企业委托重大横向课题1项，参与广西科技进步二等奖、三等奖各1项；第一作者或通讯作者发表核心论文40余篇，其中SCI、SSCI、EI收录30余篇，中文核心近10篇；发表教改论文4篇；第一作者发明人申请发明专利60多项，授权50余项，40余项发明专利实现科技成果转化。
国家自然科学基金：异构多核处理器的微内核嵌入式实时操作系统关键技术研究，参与
国家自然科学基金：嵌入式实时操作系统微内核体系结构及IP核方法研究，参与
广西“尖峰”专项：平陆运河方向子课题，主持
广西重点研发项目：基于车灯的光物联接入的智能小区车辆管理系统的研究开发，主持
重大横向课题：船舶过闸智能管理系统技术开发，主持
横向课题：单片机与嵌入式系统，主持
技术转化：基于物联网的结构形变检测方法，主持
技术转化：可见光通信复用调制天线法，主持
1.提供实验及测试平台
2.提供相应的项目进展指导
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
高子恒 物理与电子信息工程学院 通信工程 2022 统筹全局
韦深威 物理与电子信息工程学院 电子信息工程（应用） 2022 技术开发与算法研究
唐伟程 物理与电子信息工程学院 电子信息工程（应用） 2022 硬件与系统集成
吕玉钱 机械与控制工程学院 自动化 2022 图像处理与视觉模块开发
李雨婕 物理与电子信息工程学院 通信工程 2022 数据分析与测试验证

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
邓健志 物理与电子信息工程学院 否

立项依据

本项目旨在开发一种基于麦克风阵列和摄像头的智能故障定位设备，通过融合声学信号和视觉信息，精确定位机器故障发生的具体位置。麦克风阵列通过捕捉设备发出的声音信号，分析声源的方向与强度，以识别故障信号；摄像头则通过实时图像捕捉，帮助确认声源位置并进一步分析设备状态。通过这两种传感器的数据融合，能够在噪声较大的工业环境中提高故障定位的准确性，克服单一音频信号在复杂环境中定位精度不足的问题。
1.部署高速摄像头进行实时图像捕捉，辅助声源定位并帮助判断设备的物理状态
2.实施实时警报系统，以在检测到潜在的故障时立即通知维护人员采取行动
3.研究如何有效地融合声学和视觉信息，改进故障检测体系，实现对故障位置的精确识别
4.推动智能化维护系统的发展，为工业领域提供具备通用性和灵活性的智能故障定位解决方案，适用于多种设备与工作条件。
1.国内研究现状
麦克风阵列声源定位技术的应用与改进：国内有研究人员将基于麦克风阵列的声源定位方法引入到列车走行部故障检测领域，深入研究了可控波束形成、高分辨率谱估计和声波到达时间差定位等方法，并采用声波到达时间差定位方法，结合互功率谱相位法进行时延估计和改进后的角度距离定位法进行声源方向角定位，实现了可实时的声源定位实验系统，能够较好地抑制混响和噪声影响，且运算量较低，可有效检测脉冲故障源位置。
盲源分离算法的改进与融合：针对机械设备噪声诊断中声源识别问题，有学者以盲源分离算法为核心，对 MUSIC 算法、TCT 算法和 SOBI 算法等常用声源定位算法进行研究和改进。如提出基于空间直角阵列的改进 2D-MUSIC 算法，通过阵列结构优化和搜索技术改进，降低计算量并避免仰角定位模糊问题；改进 TCT 算法，提高不同带宽信号聚焦频率的选取效率，并通过融合 SOBI 算法等，实现了在机械声源频率未知且同时存在宽窄带机械声源情况下的声源识别。
时频特征分析与去噪处理：在故障声源信号处理方面，国内研究聚焦于时频特征分析和去噪技术。例如针对电力设备故障声学检测中的信号去噪问题，研究小波去噪等方法，通过自适应选择小波基、分解层数和阈值等，实现最优化去噪效果，并结合时频分析技术提取故障特征量。
人工智能算法的应用：随着人工智能技术的发展，国内众多学者将神经网络、支持向量机等人工智能算法应用于故障声源的识别与诊断。例如将提取到的声音信号特征量作为神经网络的输入，通过大量样本训练完成学习，进而识别电力设备的缺陷类型；利用支持向量机解决故障声源检测中样本较少、数据维度高、非线性等问题。
2.国外研究现状
声学监测系统与人工智能技术结合：德国弗劳恩霍夫数字媒体技术研究所开发的声学监测系统，利用人工智能技术通过识别机器产生的声音为制造商提供实时故障预警。该系统的智能传感器直接安装在机器上，能够捕捉并分析声音信号，同时具备元数据记录功能，可区分各种机械声音，过滤掉环境噪音，确保信息的准确性和可靠性。此外，芬兰的 Noiseless Acoustics 和荷兰的 OneWatt 等公司正在研究利用人工智能识别声音的技术来检测故障机器，通过嵌入式声学识别传感器设备，结合机器学习和频率分析，对发电机等设备进行检测并能在事故发生前预测问题出现的部位与时间。
声源定位技术的发展：国外在声源定位技术方面不断创新，如 FLIR 公司的 Si2 声学成像仪，搭配内置的 124 枚麦克风，可在最远 200 米的安全距离范围或嘈杂环境中识别机械故障的声音，并生成精确的声像图，其接收频率范围在 2kHz 至 130kHz，几乎涵盖了机械故障的全部声波范围。此外，针对高噪声条件下的声源定位问题，有人提出一种对角卸载波束成形的鲁棒版本，通过去除或衰减信号子空间来利用子空间正交性特性，提供了具有低计算复杂度的高分辨率方向响应。
基于声学分析的设备维护与优化：国外研究注重基于声学分析的设备维护与优化，如 Noiseless Acoustics 的 NL Camera 和 NL Sense 工具，可通过声音进行定位并拍摄捕捉噪音信号的热图像，或精确定位问题所在位置，并将数据发送到云端进行分析和处理，以实现设备的非侵入式监控和故障预警，延长现有设备的使用寿命，提高能源利用效率。
（1）基于MALT的精准噪声监测与定位
系统的核心技术为MALT(Microphone Array-based Localization and Tracking，基于麦克风阵列的多点协同定位与追踪技术)。通过多点麦克风协同采集声波信号，结合时差法(TDOA)和波束成形等声学算法，系统能够在复杂多声源环境中实现高精度的噪声源定位，误差小于1米。同时，MAL技术具备实时动态追踪能力，能够连续监测噪声源的移动轨迹，在多声源交互或嘈杂场景中依然表现卓越。这一核心技术为智能故障定位提供了精准可靠的技术支撑。
summernote-img
图1 核心硬件示意图
（2）多模态数据融合与可视化监控
系统结合MALT技术与摄像头的实时联动，实现声学数据与视觉数据的多模态融合。MALT提供的噪声源定位数据直接驱动摄像头调整拍摄方向，捕捉实时画面，从而实现噪声监测的可视化。多模态数据融合不仅提高了监测系统的直观性，还通过对异常噪声事件的视频和声学数据存档，为后续分析提供了丰富的信息支持。这种结合使系统能“听”到并“看到”噪声来源，大幅提升了监测效率与准确性。
（3）低耗高性价比
系统硬件设计注重节能性，采用高效低功耗组件，支持太阳能供电或低压直流供电，运行成本低。相比工业级噪声监测设备，本系统通过优化算法和硬件配置，显著降低了制造和运行成本，具备更高的性价比。结合设备的灵活性和易部署性，这使得系统适合大规模推广应用，为用户提供经济实用的解决方案。
（1）技术路线：
基于麦克风阵列与视觉感知技术的机器智能故障定位技术主要包括两个部分：麦克风阵列声源定位和可视化图像展示。麦克风阵列由一组按一定几何结构（常用线形、环形）摆放的麦克风组成，对采集的不同空间方向的声音信号进行空时处理，实现噪声抑制、混响去除、人声干扰抑制、声源测向、声源跟踪、阵列增益等功能，进而提高机器故障相关的噪声信号处理质量。高清摄像头帮助捕捉图像，让声源位置可视化，帮助故障检测者更清晰地定位故障噪声源。本项目的核心技术是基于麦克风阵列的多点协同噪声监测与声源定位技术(MALT)。通过多传感器协同采集和声学定位算法，MALT可以精确定位噪声源位置，并结合摄像头进行实时可视化监控，将异常噪声信息实时传输至机器管理平台，直观地展现声源的方位及距离。
硬件设计：
1.MicArray 麦克风阵列：这是一个高度灵敏的音频捕捉设备，能够从多个方向同时捕捉声音，适用于高精度声源定位和声音追踪。
2.K210开发板：它具有强大的机器视觉处理能力并且支持多种类型的AI模型，能够快速地处理和分析所受到的数据，具有功耗低性能高的优点，是处理复杂算法的理想选择。
3.LED屏幕：屏幕可以显示图像、视频以及其他图形界面元素，使得产品的交互更加友好和直观。
4.摄像头传感器：是本产品重要的输入设备，用于实时捕捉高清视频和图像数据。
摄像头传感器提供了必要的视觉输入，使得K210开发板能够执行图像识别和其他视觉处理任务。
（2）拟解决的问题：
1.调查适用机器的故障噪声频率范围，并对本设计方案的精度进行测试和调整；
2.提高本产品的数据采集速度，加强声源定位系统的性能，主要体现在获得定位精度高、产品体积小、低功耗。
（3）预期成果：
将本产品通过麦克风阵列采集被测信号，获得电压信号，经过FFT变换获得频率信息，经过定位算法的计算获得初步的故障检测定位，再经过系统优化和视觉感知技术，最终在屏幕上呈现故障的具体位置。工厂使用该项机器智能故障定位技术，能够实时监测工厂机器的运行状态，及时发现机器是否发生故障以及故障发生点的精确位置，还能够检测出可能淹没在设备工作时产生的噪声中的冲击信号，从而更好地定位出机器故障的具体位置。并且捕获范围达到±120°左右，灵敏度为-26（bB,Dbfs@1kHz 1Pa），定位误差<1cm。
1.准备阶段（2024年9-10月）
（1）确定项目团队成员和分工。
（2）收集相关文献资料，深入了解基于麦克风阵列与视觉感知的机器故障定位技术。
（3）设计并搭建机器系统实验环境。
2.硬件设计与制作阶段（2024年11-12月）
（1）选择合适的实验开发板、麦克风阵列、LED屏幕和摄像头传感器，并进行程序的编写。
（2）按照设计要求进行硬件电路连接。
（3）安装驱动并编写程序。
3.系统集成与调试阶段（2025年1-3月）
（1）将各个部分的硬件进行集成，确保各个模块正常工作。
（2）进行系统级联调试，保证整体系统功能正常。
（3）对硬件进行性能测试，调整优化参数，提高系统稳定性和性能。
4.算法开发与优化阶段（2025年4-7月）
（1）开发基于麦克风阵列的多点协同噪声监测与声源定位技术(MALT)的定位算法，并进行仿真验证。
（2）优化定位算法，提高定位精度和稳定性。
5.实验验证与性能评估阶段（2025年8-12月）
（1）在机器模型中进行实验验证，收集实验数据。
（2）分析实验数据，评估系统的性能和定位精度。
（3）对系统进行改进和优化，解决可能出现的问题。
6.撰写报告与总结阶段（2026年1-4月）
（1）撰写项目研究报告，详细介绍项目的研究内容、创新点、实验结果等。（2）总结项目研究过程中的经验和教训，提出进一步的改进和发展方向。
（3）准备项目答辩和展示材料。

summernote-img

summernote-img

1.麦克风阵列的算法及调试：
完成了麦克风阵列信号处理算法的开发，该算法能够准确捕捉并分析来自故障源的声音信号。
实现了声音到达时间差（TDOA）的精确测量，通过算法优化提高了定位精度。
进行了广泛的调试工作，确保算法在不同环境噪音水平下的鲁棒性和可靠性。
2.屏幕显示的算法和调试：
开发了用于实时显示故障定位结果的屏幕显示算法，包括声音波形和视觉反馈。
算法经过调试，能够在各种显示设备上清晰、准确地展示故障位置和相关信息。实现了用户界面的友好性，使得操作人员能够快速理解故障信息并作出响应。
3.设计和优化硬件电路：
设计了适用于本项目的硬件电路，包括麦克风阵列、信号处理单元和视觉传感器的接口。
对硬件电路进行了优化，提高了能效比，降低了能耗，同时增强了系统的稳定性和耐用性。
完成了原型硬件的构建和测试，验证了设计的可行性和性能指标。
1.技术研究基础：
对麦克风阵列信号处理和视觉感知技术进行了深入研究，具备了一定的技术知识和研究基础。
算法开发：
完成了麦克风阵列的声源定位算法和视觉感知算法的开发，能够实现故障源的精确定位。
根据开发算法，已发布两篇相关论文。
summernote-img
summernote-img
2.原型系统搭建：
设计并搭建了一个原型系统，该系统能够实时接收声音和视觉数据，并进行融合处理。
3.硬件设计：
设计了适用于本项目的硬件电路，包括麦克风阵列、信号处理单元和视觉传感器的接口。
4.团队建设：
组建了一个跨学科的团队，团队成员具备声学、电子工程、计算机科学和工业自动化等专业背景。
5.尚缺少的条件及解决办法：
①实验环境和场地：
缺少进行系统测试和实验可能需要特定的实验环境和场地，如具有一定大小和布局的室内空间。
解决办法：与大学实验室、研究机构或其他企业合作，借用他们的设施进行测试；或申请科研资金来建立所需的实验环境。
②资金支持：
项目的实施需要一定的资金支持，用于购买设备、购买材料等。
解决办法：向学校、科研机构或政府申请科研项目资助；寻找投资者或通过众筹平台筹集资金。
③高级算法研究：
在算法优化、机器学习模型等方面可能缺乏深入研究。
解决办法：与高校或研究机构合作，利用他们的研究资源；聘请领域专家或团队进行研究。
④系统集成测试：
系统各组件之间的集成可能存在兼容性问题。
解决办法：进行系统集成测试，确保各组件协同工作；必要时重新设计或更换不兼容的组件。

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 10000.00 制作产品，实验分析，成果产出 4400.00 5600.00
1. 业务费 3000.00 支持项目的运行和发展，包括计算、分析、测试、能源动力、会议、差旅、文献检索和论文出版等方面的费用。 700.00 2300.00
（1）计算、分析、测试费 800.00 用于购买软件工具、计算资源以及实验材料，以支持系统设计和性能测试。 300.00 500.00
（2）能源动力费 200.00 涵盖实验室设备的运行成本，如电力费用。 100.00 100.00
（3）会议、差旅费 400.00 用于参加相关行业会议、学术研讨会或差旅成本，以便与同行交流、获取新知识和展示成果。 200.00 200.00
（4）文献检索费 200.00 用于购买专业文献或订阅学术期刊，以获取最新的研究成果和技术资料。 100.00 100.00
（5）论文出版费 1400.00 预留一部分经费用于将研究成果撰写成论文并支付相关出版费用。 0.00 1400.00
2. 仪器设备购置费 2500.00 购买必要的仪器设备，如光通信传输设备、接收器、发射器、光源等，以支持实验和模拟场景的搭建。 1000.00 1500.00
3. 实验装置试制费 1500.00 用于设计、制作和调试实验装置，包括原型制作成本、零部件购买费用以及实验平台搭建所需费用 1000.00 500.00
4. 材料费 3000.00 购买实验所需的材料和器件，如光纤、光学元件、电路板等，以支持实验的进行和场景的搭建。 1700.00 1300.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司