桂林理工大学

详情

“刚眼智控”——基于AI的钢带表面缺陷实时监测与分析系统

申报人：陈媛 申报日期：2025-01-03

基本情况

2025年批次
“刚眼智控”——基于AI的钢带表面缺陷实时监测与分析系统 学生申报
创新训练项目
工学
计算机类
学生来源于教师科研项目选题
一年期
利用机器来模拟人类视觉，对生产的产品进行图像采集处理、 位置计算、特征学习，最终输出检测结果。通过人工智能算法，采用图像采集和深度学习，建立数据库，自动识别和分类缺陷，降低成本提高市场竞争力，推动生产智能化和自动化进程。
无
1、2024/08-2027/07，国家自然科学基金（62466013），计算资源受限下基于无人机的目标跟踪方法研究，32 万元，在研，参与
2、2024/12-2027/11，广西科技重大专项（桂科 AA24263034），
基于 5G 边缘协同的智能物联网城市轨道交通关键技术研发与应用示范，86.7 万元，在研，参与
3、2024/02~2025/01, 桂林理工大学科研启动经费（GUTQDJJ2024009），深度学习在工业钢带检测上的应用研究，5万人民币，在研，主持
4、2019/05~2023/05, 广东省科技计划专项，广东省司法行政科技
协同创新中心，300 万人民币，结题，参与
5、2018/09~2020/09, 横向项目，计算机视觉在成品鞋（Timberland）缺陷检测中的应用，100 万港币，结题，参与
1、在国家自然科学基金 “计算资源受限下基于无人机的目标跟踪方法研究” 以及桂林理工大学科研启动经费项目 “深度学习在工业钢带检测上的应用研究” 中，积累了大量先进的算法开发、模型训练以及特定场景应用的技术经验，能够将这些宝贵的技术精髓分享给本项目团队，为项目的技术攻坚提供强有力的支撑与引领，帮助团队攻克可能遇到的技术瓶颈；
2、凭借在横向项目 “计算机视觉在成品鞋（Timberland）缺陷检测中的应用” 中所积累的丰富行业实践经验，能够为项目提供关于工业产品质量把控与缺陷检测领域的深度应用知识与实战策略，使本项目成果更好地对接市场实际需求，提升项目的实用性与落地性；
3、基于在多个项目如“广东省司法行政科技协同创新中心”、“基于 5G 边缘协同的智能物联网城市轨道交通关键技术研发与应用示范”等项目中的参与历练，能够以敏锐的洞察力和丰富的经验，指导本项目团队从项目的整体架构设计到各个阶段的详细规划，再到高效精准的执行策略制定，全方位确保项目有条不紊地推进并达成预期目标；
4、借助在各类科研项目中建立的广泛学术与行业联系网络，积极为项目团队探寻与企业深度合作的渠道与机会，整合高校、科研机构与企业的优势资源，促进学术研究成果的快速转化与产业化落地，为项目注入可持续发展的动力源泉；
5、充分利用自身在各个项目中所积累的丰富学术资源以及行业人脉资源，为本项目协调获取所需的实验设备、技术平台以及专业技术人员等多方面的支持，为项目的顺利开展筑牢坚实的资源基础；
6、凭借自身在科研领域的深厚造诣与广泛影响力，为项目团队创造参与各类高规格学术会议、前沿研讨班等学术交流活动的机会，同时在研究方法的创新探索、学术论文的规范撰写与高水平发表等方面给予专业细致的指导，助力团队成员学术水平与科研能力的全面提升。
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
陈媛 计算机科学与工程学院 计算机科学与技术（应用） 2023 项目的整体规划和系统设计
韦彩金 外国语学院 英语 2023 项目相关信息和数据集收集
莫如佳 计算机科学与工程学院 计算机类 2024 项目的技术研究和模型设计
叶子煊 计算机科学与工程学院 计算机科学与技术（应用） 2023 项目系统设计和模型训练
吴宗霖 机械与控制工程学院 机器人工程 2023 项目分析、测试和技术实施

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
梁应毅 计算机科学与工程学院 否
郑辉林 计算机科学与工程学院 否

立项依据

1.提高检测效率：采用工业相机进行检测，通过YOLO网络对缺陷进行描出位置并发送至数据库进行储存分类。
2.降低生产成本：相比于更为广泛的人工检测，能更加有效率的检测钢带缺陷，降低人力投入。
3.提高产品竞争力：智能化检测产品能有效提高产品的质量，通过AI检测可以提高产品合格率，投入市场可提高市场竞争力。
4.增强系统的准确性和可靠性：通过优化算法，提高运行效率，减少误判，更加精确的描述出缺陷位置。
5.实现安全预警：已有基础尚未实现预警，当有异常情况出现及时进行安全预警，保障工人安全和产品。
6.增强模型抗干扰性：工业相机在工作时会受到光照，噪音，粉尘等影响，设计适应工业场景的数据模型，减少数据干扰，提高检测准确。
7.提高系统运行效率：优化算法，减少复杂度，增强通用性。
8.提高检测模型学习能力：如采用无监督模型，可以相比于之前大大减少数据样本投入，减少大量数据标注的成本。
9.优化检测架构：提高检测架构的智能化和抗干扰性，利用传感实现光照调节，减少天气等影响因素，节约用电成本。
10.推动工业智能化转型：智能转型、创新驱动、保质保量，加快从制造大国转向制造强国。实现工业4.0。
市场调研：
（1）了解工业钢卷已实现自动化占比和需求。
（2）了解钢卷缺陷类型和特征
（3）调查已有AI检测的优势缺陷，确立基础算法进行视觉模型搭建和深度学习模型。

收集数据和建立数据库：
（1）利用AI检测，收集样本数据，实现模型深度学习。
（2）收集钢卷缺陷模型并进行分类。
（3）采用了特征增强和选择模块来增强单尺度特征和选择多尺度特征，以减少信息混淆。
（4）预处理（如利用CNN），减少噪音，增强对比，尺化标准。

分析缺陷：
（1）使用不同颜色标出缺陷种类。
（2）了解不同缺陷对系统算法运行的影响

优化视觉YOLO算法：
（1）分析已有YOLO网络算法不足，如利用YOLOv3-dense的模型完善已有YOLO，提高精准度；
（2）降低YOLO模型参数量，引入可变形卷积、全局注；
（3）意力机制和视觉Transformer来提升模型的特征提取能力。
（4）对YOLO算法模块化处理，便于改进算法和检查算法错误，调用算法代码。

强化深度学习模型：
（1）如利用RotNet的自监督学习模型，分析采集样本数据然后输入到网络中进行预训练；
（2）改善CNN网络，提高检测识别能力；
（3）减少显式的成对特征比较，降低计算复杂度。

构建安全预警：
实时检测生产线上的钢带，当遇到特殊情况，及时发现并反馈问题，实现快速响应生产过程中的异常情况。

优化整体系统：
（1）调整网络结构；
（2）优化参数，增强数据采集，提升模型性能。

系统集成测试：
（1）在不同光照，噪音下测试系统检测能力，确保准确性和稳定性。
（2）评估系统处理速度，是否达到预期效果。

用户界面设计：
（1）实现产品包装
（2）设计简便，易操作的用户界面，设置预警紧急操作。

评估整体性能：
（1）评估泛化能力，采用未参与训练的样本评估对新样本的识别能力。
（2）评估改善后系统的准确率，召回率和检测处理速度的提升。
（3）评估整体性能稳定程度。

定期维护：
（1）预测系统维护日期，进行定期维护，确保稳定运行。
（2）根据客户反馈和需求，完善改进系统整体功能和扩展满足需求。

培训与技术支持：
（1）对操作人员进行培训，提高系统操作手册和具体操作视频
（2）搭建技术支持体系，如远程操作指导，电话支持等等。

实际应用与反馈：
（1）在特定钢带生产企业进行案例研究，展示系统的实际应用效果。
（2）收集用户反馈，改善系统，通过示范性企业，推广到钢铁生产工业当中。
基于AI的钢带表面缺陷实时监测与分析系统通过技术创新，显著提升了工业生产的质量和效率，实现了经济效益和社会效益的双重提升。有助于推动钢铁行业的可持续发展。作为智能制造的重要组成部分，该系统有助于实现生产过程的自动化和智能化，推动工业4.0的发展进程。
       智能工业检测领域，是当前工业自动化和智能制造的重要组成部分。机器视觉技术在缺陷检测过程中发挥着极其重要的作用，随着计算机AI的兴起，AI检测工业品成为了一种关键。以下是国内外在这一领域的研究现状和发展动态的概述。

       国内现状：常用的目标检测算法多依据机器视觉的方法对目标进行识别。刘晓阳等人[1]提出了一种基于二维Gabor滤波器的检测方法，通过Gabor优化选择方法构建以变异系数为基础的代价函数，选取最优滤波通道，突出撕裂区域纹理特征实现对胶带撕裂的检测。

       国外研究现状：在2020年，EfficientDet[46]被提出，其中包含了D0到D7总共八个算法。它们在不同的资源约束条件下实现比现有检测算法更优的效率，后来的Scaled-YOLOv4和YOLOv5在一定程度上也借鉴了这种模型缩放的思想。其中提出的BiFPN相较于其他主流特征融合结构如路径聚合网络。

       发展动态：边缘检测、形态学、模板匹配等技术通常被用于处理这种情况下的缺陷检测。采用边缘检测算法取得了较好的效果、应用Canny边缘检测算法基于指导模板的检测钢表面缺陷的算法、在模板匹配的基础上引入高斯算子构造了一个实时缺陷识别模型。
研究者们正在致力于开发更高效的数据预处理方法、更精确的缺陷分类策略以及更强大的后处理技术，以进一步提升检测系统的准确性和效率。

       技术融合与创新：近年来，基于深度学习的卷积神经网络（Convolutional Neural Networks, CNN）技术迅速发展，在计算机视觉领域取得显著效果。2012年为深度学习开元之年，KRIZHEVSKY等人提出AlexNet网络，便在公共大型ImageNet数据集竞赛中拔得头筹。通过卷积神经网络操作，网络能够从输入图像中提取目标特征，从而显著提升网络的特征提取能力。

       YOLOv8相关介绍：YOLOv8采用了更先进的网络架构和训练策略，使得其能够在为了提升模型的性能，YOLOv8采用了多种训练策略，包括数据增强、学习率调度、正则化技术等。这些策略有助于模型更好地学习数据的分布和特征，从而提高检测精度和泛化能力。各种数据集上达到更高的检测精度。YOLOv8在网络架构上进行了多项创新，包括使用更深的卷积神经网络（CNN）来提取特征，以及引入注意力机制等先进技术来增强模型的表示能力。此外，YOLOv8还采用了轻量级网络设计，使得模型在保持高性能的同时，能够更高效地运行在资源受限的设备上。

       未来趋势：（1）新兴的人工智能技术确实能够提高生产效率，加强产业竞争力，为企业提供价值链转型的机会，因此采用AI检测运用到生活生产实际中对于我国钢带质量提高有重要关系，有利于提高我国企业知名度；（2）基于AI的钢带表面缺陷实时监测与分析系统的研究正在迅速发展，国内外学者都在不断探索新的算法、技术和应用场景，以满足工业生产中对高效率和高准确性的需求
参考文献：
[1]刘朝选, 刘堂友, 吴云飞. 基于机器视觉的钢带缺陷检测研究[J]. 微型机与应用, 2015, 34(24):50-52
[2]伍铭林. 基于改进YOLOv5的钢材表面缺陷检测算法研究[D]. 华东交通大学, 2023
[3]郭嘉宇, 张世钢, 杨旭杰. 基于机器视觉的钢带表面划痕检测方法研究[J]. 现代信息科技, 2022, 6(11):103-105109
[4]余序宜. 基于深度学习的工业缺陷检测算法研究[D]. 浙江理工大学, 2023.
[5]Rong W, Li Z, Zhang W, et al. An improved canny edge detection algorithm[C]//2014 IEEE international conference on mechatronics and automation. IEEE, 2014: 577-582.
[6]Yang L, Fan J, Huo B, et al. A nondestructive automatic defect detection method with pixelwise segmentation[J]. Knowledge-Based Systems, 2022, 242:108338.
创新点：
（1）提供了安全预警：确保工作人员能及时发现工业生产问题，保障了钢铁工业生产的财产安全。
（2）提高实时检测：利用AI技术，提供实时检测，提高了生产效率，保障了钢铁制造业的质量水平。
（3）增强检测：优化YOLO算法，提高准确率，提供更清晰可视的缺陷位置。
（4）数据增强：通过翻转变换、随机裁剪等方法对数据集进行扩充，增强了系统对不同缺陷类型的识别能力。

项目特色：
（1）高效检测：利用AI检测，相对于传统的人工检测，更加高效的检测处理，检测速率和质量远超人工。
（2）成本节约：通过减少人工检测的依赖，系统降低了人力成本。同时，高效的检测减少了缺陷产品导致的损失，进一步节省了成本。
（3）提高安全性：在某些情况下，人工检测可能存在安全隐患，自动化的AI系统可以减少人员在危险环境中的工作需求。
（4）界面可视化：便于工作人员操作，工作人员能通过系统直接看到缺陷位置以及不合格产品的数量。
（5）准确性与可靠性：借助深度学习模型，系统实现了高准确度的缺陷识别，显著减少了人为因素导致的误判和漏判。
（6）促进可持续发展：通过优化资源利用和提高材料利用率，该系统有助于推动钢铁行业的可持续发展。
技术路线：
（1）系统选型与调研：确定主流的深度学习框架（如Pytorch）采用YOLO算法，建立图像数据库。调研关于钢铁工业领域最新的AI算法趋势。
（2）系统总体优化与搭建：优化图像采集模块、数据传输模块、AI分析处理模块、结果展示，搭建模块报警系统。
（3）系统模块化设计：将系统划分为图像采集模块、预处理模块、特征提取与识别模块、结果输出与反馈模块等。每个模块进行独立设计与开发，确保系统的灵活性和可扩展性。
（4）优化图像采集模块：选择适合钢带检测的工业CCD相机，考虑降低成本，提高采集钢带清晰度等问题。
（5）优化照明系统：调试适应不同光照条件的照明系统，确保图像质量。
（6）优化数据传输模块：改进算法，实现高速率传输，保证图像数据实时传输至分析处理模块。
（7）AI识别模块：
① 深度学习模型：选择合适的深度学习模型YOLO进行特征提取和缺陷识别。
② 模型训练与优化：使用标注好的缺陷数据集对模型进行训练，并通过调整超参数、使用正则化等技术对模型进行优化。
（8）系统集成与测试模块：
① 模块集成,将各个模块进行集成，形成完整的AI钢带表面缺陷实时监测与分析系统。
② 系统测试：系统进行全面的测试，包括功能测试、性能测试、稳定性测试等，确保系统满足设计要求。
（9）报警系统：当检测到缺陷时，系统自动触发报警，通知操作人员。
（10）结果展示：设计直观易用的用户界面，方便用户查看检测结果、调整系统参数。

拟解决问题：
（1）优化YOLO检测算法，以更直观简便的将缺陷边缘化方式展现缺陷位置；
（2）降低误报率：优化算法减少因环境变化等因素导致的误报；
（3）设计安全预警：设计算法实现安全预警，保障生产安全；
（4）优化数据库：将不同类别的缺陷进行统计，以直观的图表展示出钢带产品质量；
（5）实时性检测、增强使用时长：实现快速、准确的实时检测，满足生产线高速运行的需求，及时发现生产问题；
（6）提高系统稳定性：确保系统在不同工业坏境下适用。

预期成果：
（1）实现安全预警：实现实时监测和报警功能，提高生产效率和产品质量；
（2）发表技术论文：发表至少一篇关于AI在工业检测应用的技术论文；
（3）优化系统模块：系统稳定性更强，适应工厂坏境能力提高，工业效率提高；
（4）提升钢铁行业的智能化水平：推动钢铁行业向智能制造转型，提高生产自动化和智能化程度,为其他工业领域的缺陷检测提供借鉴和参考；
形成可推广的技术方案：形成一套完整的、可复制的技术方案，便于在钢铁行业及其他相关领域推广应用。为后续的技术研发和创新提供基础和支持。
2024.12—2025.01
项目启动与需求调研：
（1）明确项目目标、范围、需求，组建项目团队，制定项目计划。
（2）与钢铁企业沟通，了解钢带表面缺陷检测的具体需求。
（3）制定详细的项目计划，包括时间节点、资源分配等。

2025.01—2025.3
系统设计与技术选型：
（1）研究现有的基于AI的图像检测和缺陷检测技术；
（2）确定深度学习框架、图像处理库等技术选型；
（3）优化数据库和存储方案；
（4）制定数据标注和预处理方案；
（5）搭建实验环境，进行初步的技术验证。

2025.03—2025.05
模型开发与初步测试：
（1）开发深度学习模型，并进行初步测试和优化；
（2）进行模型训练，调整算法，提高模型性能；
（3）初步测试模型在真实数据上的表现，收集反馈并进行优化。

2025.05—2025.08
系统集成与调试：
（1）完成图像采集模块、预处理模块、特征提取与识别模块等优化后的模块的集成；
（2）实现用户交互界面和安全预警功能；
（3）进行系统整体调试，解决集成过程中出现的问题；
（4）优化系统性能，提高实时性和稳定性。

2025.08—2025.10
系统测试与验证：
（1）进行功能测试、性能测试、稳定性测试等；
（2）收集测试数据，分析测试结果，修复发现的问题；
（3）编写系统使用操作手册；
（4）交付企业，观察预运营效果。

2025.11
（1）准备项目验收文档和报告；
（2）根据验收反馈进行最后的调整和优化；
（3）准备结题：进行工作总结并填写相关结题表格，撰写研究论文和总结报告，参加结题答辩等。
（1）团队成员已经具备理论基础：回顾并引用前期建立的理论模型、假设或框架；
（2）团队成员已在图像处理和机器学习领域进行了初步研究，阅读了相关论文；
（3）完成了初步的钢带表面缺陷图像数据收集工作，构建了一个小型的缺陷图像数据库；
（4）进行了基于传统图像处理技术的钢带缺陷检测原型开发，验证了项目的可行性。

已具备的条件：
（1）团队成员已搭建好了基础的框架；
（2）与钢铁企业建立了合作关系，可获取实际生产环境中的钢带样本和数据；
（3）团队成员有具备计算机科学和机器人工程等多专业跨学科组成。

尚缺少的条件及解决方法：
（1）缺少条件：缺乏对视觉识别算法YOLO的学习
解决方法：进行YOLO的学习，研究深入探讨了基于YOLOv8/v7/v6/v5的钢材表面缺陷检测系统。
（2）缺少条件：缺少检测系统的调用集成经验
解决方法：查找相关论文，学习集成系统的开发，实验室环境中模拟实际生产流程，进行系统集成测试。
（3）缺少条件：缺少对深度学习模型的学习
解决方法：学习RotNet的自监督学习模型，分析采集样本数据然后输入到网络中进行预训练。
（4）缺少条件：项目资金支持。
解决方法：申请校内外的科研项目资助；通过企业合作，探讨共同研发的可能性。

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 30000.00 无 15000.00 15000.00
1. 业务费 21000.00 无 10500.00 10500.00
（1）计算、分析、测试费 0.00 无 0.00 0.00
（2）能源动力费 0.00 无 0.00 0.00
（3）会议、差旅费 10000.00 用于项目组成员参加学术会议或外出调研的交通、住宿费用 5000.00 5000.00
（4）文献检索费 1000.00 用于支付论文检索或查新等费用，以确保项目研究的前沿性和创新性 500.00 500.00
（5）论文出版费 10000.00 用于支付论文发表时的版面费、审稿费等出版相关费用 5000.00 5000.00
2. 仪器设备购置费 8000.00 用于购买项目研究所需的基础实验设备和工具，如传感器、数据采集卡、专用图形处理器等 4000.00 4000.00
3. 实验装置试制费 0.00 无 0.00 0.00
4. 材料费 1000.00 无 500.00 500.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司