详情

“慧眼如炬”——基于AI的钢带表面缺陷实时监测与分析系统

申报人:陈硕 申报日期:2024-05-29

基本情况

2024年批次
“慧眼如炬”——基于AI的钢带表面缺陷实时监测与分析系统 学生申报
创新训练项目
工学
计算机类
学生来源于教师科研项目选题
一年期
此项目旨在提高钢铁生产的质量控制。该系统采用先进的人工智能算法,通过实时图像采集和深度学习模型,自动识别和分类钢带表面的各种缺陷。它能够快速准确地提供缺陷位置、大小和类型,实现与生产流程的无缝对接,及时调整生产策略,降低成本,提升产品竞争力。此系统是智能制造在钢铁行业应用的典范,推动了生产自动化和智能化的进程。

(1)以成员身份参与桂林理工大学2023年创新创业项目并结题

(2)以成员身份参加2023年第九届“互联网+”并获得区级银奖

3)获得“基于深度学习的小样本图像检索测试及模型识别软件V1.0”软件著作权证书

广东省自然科学基金专项项目

      参与了“广东省司法行政科技协同创新中心”项目,该项目旨在通过科技手段推动司法行政工作的创新和发展在此项目中,主要负责利用人工智能技术优化司法行政流程,提高工作效率和准确性

香港理工大学校企合作项目

  还参与了与香港理工大学合作的“计算机视觉在成品鞋(Timberland)缺陷检测中的应用”项目。该项目聚焦于将计算机视觉技术应用于工业产品的质量检测,特别是成品鞋的表面缺陷自动检测。

1.技术经验分享:

将分享在“广东省司法行政科技协同创新中心”项目中积累的人工智能技术经验,为本项目提供技术指导。

2.行业应用知识:

通过“计算机视觉在成品鞋(Timberland)缺陷检测中的应用”项目,将提供关于工业产品缺陷检测的实际应用知识。

3.项目规划与执行:

将根据自己在两个项目中的参与经验,指导本项目团队进行有效的项目规划和执行。

4.产学研结合:

将协助本项目团队探索与企业的合作机会,促进学术研究成果的产业化。

5.资源协调:

将利用自己的学术和行业资源,为本项目协调所需的技术支持和实验条件。

6.学术交流与指导:

将为本项目团队提供学术交流的机会,包括参与学术会议、研讨班等,以及在研究方法和论文撰写上的指导。

通过梁老师在上述两个项目中的参与和经验,本项目将在技术指导、行业应用、项目管理、产学研结合等方面获得宝贵的支持,这将极大地促进项目的顺利进行和成果的实现。

区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
陈硕 计算机科学与工程学院 软件工程 2022 项目的整体规划和系统设计
刘毅 计算机科学与工程学院 计算机科学与技术(应用) 2022 项目的技术研究和模型设计
刘耀升 计算机科学与工程学院 软件工程 2022 项目分析、测试和技术实施
李志发 计算机科学与工程学院 软件工程 2022 项目分析、测试和技术实施
胡浩铭 计算机科学与工程学院 软件工程 2022 项目相关信息和数据集收集

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
梁应毅 计算机科学与工程学院
蔡志勇 计算机科学与工程学院

立项依据

1.提高检测效率

自动化的AI系统可以连续不断地进行检测,相比人工检测,大大提高了检测的速度和效率。

2.降低成本:

减少对人工检测的依赖,从而降低人力成本,同时由于检测效率的提升,也能减少因缺陷产品而导致的损失。

3.提升产品质量

通过精确识别各种表面缺陷,确保只有符合标准的高质量产品进入市场,增强企业的市场竞争力。

4.增强系统的准确性和可靠性:

AI系统通过深度学习模型能够实现高准确度的缺陷识别,减少人为因素导致的误判和漏判。

5.实时监测与反馈:

实时监测生产线上的钢带,及时发现问题并反馈,快速响应生产过程中的异常情况。

6.数据驱动的决策支持:

收集和分析缺陷数据,为生产过程的优化和质量控制提供数据支持,帮助企业做出更加科学的决策。

7.适应复杂环境:

AI系统能够适应不同的生产环境和条件,即使在光照、背景等条件变化的情况下也能稳定工作。

8.推动智能制造:

作为智能制造的一部分,基于AI的监测系统有助于实现生产过程的自动化和智能化,推动工业4.0的发展。

9.提高安全性:

在某些情况下,人工检测可能存在安全隐患,自动化的AI系统可以减少人员在危险环境中的工作需求。

10.促进可持续发展:

通过减少资源浪费和提高材料利用率,AI系统有助于推动钢铁行业的可持续发展。

综上所述,基于AI的钢带表面缺陷实时监测与分析系统的研究旨在通过技术创新提升工业生产的质量和效率,实现经济效益和社会效益的双重提升。

1.需求分析:

1)确定系统的目标用户和应用场景。

2)分析钢带生产过程中可能出现的缺陷类型及其特性。

3)确定系统性能指标,如检测速度、准确率和实时性要求。

2.数据采集与预处理:

1)收集不同类型和程度的钢带表面缺陷图像数据。

2)对图像数据进行预处理,包括去噪、对比度增强、尺寸标准化等。

3.缺陷特征分析:

1)研究钢带表面缺陷的视觉特征,如形状、大小、颜色、纹理等。

2)分析不同缺陷特征对检测算法性能的影响。

4.深度学习模型设计:

1)选择合适的深度学习架构,如卷积神经网络(CNN)。

2)设计或优化网络结构,以提高对钢带表面缺陷的识别能力。

5.模型训练与验证:

1)使用标注好的数据集训练深度学习模型。

2)通过交叉验证等方法评估模型的性能和泛化能力。

6.缺陷检测算法开发:

1)开发用于实时监测的缺陷检测算法。

2)集成多任务学习,实现缺陷的检测、分类和定位。

7.系统优化:

1)对算法进行优化,以满足实时监测的要求。

2)优化计算资源的使用,提高系统的运行效率。

8.系统集成与测试:

1)AI模型集成到监测系统中,并与图像采集设备和生产控制系统接口。

2)在实际生产环境中测试系统的性能。

9.用户界面设计:

1)设计直观易用的用户界面,展示检测结果,提供系统配置和数据分析功能。

10.性能评估与分析:

1)评估系统在实际生产中的性能,包括准确率、召回率和处理速度。

2)分析系统在不同生产条件下的表现和潜在的改进空间。

11.智能决策支持:

1)研究如何将检测结果用于生产过程的智能决策支持。

2)开发预测模型,预测生产过程中可能出现的缺陷。

12.维护与升级:

1)制定系统维护计划,确保长期稳定运行。

2)根据技术发展和用户反馈,不断升级系统功能。

13.案例研究与应用示范:

1)在特定钢带生产企业进行案例研究,展示系统的实际应用效果。

2)通过应用示范,推广AI监测系统在钢铁行业的应用。

这些研究内容涵盖了从系统设计、模型开发、性能评估到实际应用的全过程,旨在构建一个高效、准确、可靠的钢带表面缺陷实时监测与分析系统。

通过这个项目,预期能够为钢铁行业带来革命性的质量管理工具,推动工业4.0的进一步发展。

   智能工业检测领域,尤其是基于AI的钢带表面缺陷实时监测与分析系统,是当前工业自动化和智能制造的重要组成部分。以下是国内外在这一领域的研究现状和发展动态的概述:

1.国内研究现状:

   国内学者针对钢带表面缺陷检测的实时性和准确性进行了大量研究。例如,有研究提出了基于改进的YOLOv4-tiny模型的实时检测方法,该方法通过结合多尺度检测与空间注意力机制,显著提高了检测精度和效率。

2.国外研究现状:

   国外的研究同样活跃,许多研究集中在提高缺陷检测算法的准确性和实时性。例如,有研究深入探讨了基于YOLOv8/v7/v6/v5的钢材表面缺陷检测系统,这些系统通过整合不同的YOLO版本算法,进行性能指标对比,并提供了详细的数据集处理、算法原理和模型构建信息。

 夏日笔记-IMG

                           图1 国外研究者对带钢缺陷的研究

3.发展动态:

   随着深度学习技术的快速发展,基于深度学习的检测算法,如YOLO系列、Faster R-CNN、SSD等,已成为钢材表面缺陷检测的研究热点。

研究者们正在致力于开发更高效的数据预处理方法、更精确的缺陷分类策略以及更强大的后处理技术,以进一步提升检测系统的准确性和效率。

随着数据集的不断更新和扩充,包含更多样化的缺陷类型和更复杂场景的数据集成为算法训练和测试的宝贵资源,有助于模型的优化和泛化能力的提升。

4.技术融合与创新:

   除了深度学习,其他技术如5G通信、边缘计算和云计算也在与钢带表面缺陷检测技术融合,以实现更高效的数据处理和分析。

   新的网络结构和注意力机制的引入,如CBAM模块和Inception-ResNet V2模型的结合,正在提高缺陷图像分类的精度和收敛速度。

5.yolov8相关介绍

        YOLOv8 是一个 SOTA 模型,它建立在以前 YOLO 版本的成功基础上,并引入了新的功能和改进,以进一步提升性能和灵活性。具体创新包括一个新的骨干网络、一个新的 Ancher-Free 检测头和一个新的损失函数,可以在从 CPU 到 GPU 的各种硬件平台上运行。

   不过 ultralytics 并没有直接将开源库命名为 YOLOv8,而是直接使用 ultralytics 这个词,原因是 ultralytics 将这个库定位为算法框架,而非某一个特定算法,一个主要特点是可扩展性。其希望这个库不仅仅能够用于 YOLO 系列模型,而是能够支持非 YOLO 模型以及分类分割姿态估计等各类任务。YOLOv8模型结构如下图2所示:

夏日笔记-IMG 

                                                              图2 YOLOv8-P5模型结构

6.未来趋势:

        未来的研究可能会更加侧重于算法的实用性和可扩展性,以及如何将这些技术更好地集成到现有的工业生产线中。

   随着工业4.0的推进,预计会有更多的跨学科研究,结合材料科学、机械工程和数据科学等领域的知识,以进一步提高检测系统的综合性能。

   基于AI的钢带表面缺陷实时监测与分析系统的研究正在迅速发展,国内外学者都在不断探索新的算法、技术和应用场景,以满足工业生产中对高效率和高准确性的需求。

7.参考文献

[1]邹旺吉畅. 一种改进YOLOv4-tiny的带钢表面缺陷实时检测方法[J]. 机械科学与技术2023 42(6)883-889 DOI 10.13433/J. 中国知网。 1003-8728. 20230034

[2]米春风, 卢琨, 汪文艳, 王兵. 基于机器视觉的带钢表面缺陷检测研究进展[J]. 安徽工业大学学报(自然科学版), 2022, 39(2): 180-188.DOI: 10. 3969/ J.国际标准刊号。 1671-7872. 2022. 02. 009

[3]米春风, 卢琨, 汪文艳, 王兵. 基于机器视觉的带钢表面缺陷检测研究进展[J]. 安徽工业大学学报(自然科学版), 2022, 39(2): 180-188.DOI: 10. 3969/ J.国际标准刊号。 1671-7872. 2022. 02. 009

[4]王立中. 基于深度学习的带钢表面缺陷检测[D]. 西安工程大学[2024-05-28]. DOI: CNKI: CDMD: 2. 1019. 015280.

[5]高春艳, 秦燊, 李满宏, 吕晓玲. 改进YOLOv7算法的钢材表面缺陷检测研究[J]. 计算机工程与应用, 2024, 60(7): 282-291.

[6]杨舒乔. 基于深度学习的钢铁表面缺陷检测研究[D]. 华南理工大学2021.

1.创新点:

1)实时监测:利用先进的AI技术,能够实现对钢带表面缺陷的实时监测,这对于提高生产效率和产品质量具有重要意义。

2)深度学习算法:采用深度学习方法,如改进的YOLOv5s,可以在保证高检测速度的同时,提高缺陷检测的准确性和鲁棒性。

3)数据增强: 通过翻转变换、随机裁剪等方法对数据集进行扩充,增强了系统对不同缺陷类型的识别能力。

2.项目特色:

1)智能分析:AI系统不仅能检测出缺陷,还能对缺陷类型进行智能分析,为后续的质量控制提供数据支持。

2)自动化:该系统能够减少人工检测的需求,降低劳动强度,实现生产过程的自动化。

3)可视化界面: 设计直观的用户界面,使操作人员能够轻松地监控和分析钢带表面的缺陷情况。

这些创新点和特色使得该项目在钢铁生产领域具有较高的应用价值和发展潜力。它不仅能提高生产效率,还能在保证产品质量的同时,降低生产成本。

技术路线

1.系统总体设计

系统架构:设计一个基于AI的钢带表面缺陷实时监测与分析系统,该系统由图像采集模块、数据传输模块、AI分析处理模块、结果展示模块和报警系统组成。

数据流设计:确保从图像采集到结果分析的整个数据流顺畅,实现实时监测。

2.图像采集模块

高分辨率工业相机:选择适合钢带表面检测的高分辨率工业相机。

照明系统:设计适应不同光照条件的照明系统,确保图像质量。

3.数据传输模块

实时数据传输:采用高效的数据传输协议,保证图像数据实时传输至分析处理模块。

4.AI分析处理模块

深度学习模型:开发基于深度学习的图像识别模型,用于钢带表面缺陷的识别与分类。

算法优化:不断优化算法,提高缺陷检测的准确性和实时性。

5.结果展示与报警系统

用户界面:设计直观的用户界面,展示实时监测结果和历史数据分析。

报警机制:当检测到缺陷时,系统自动触发报警,通知操作人员。

 summernote-img

                       图3 技术路线图

拟解决的问题:

1.提高检测速度:解决传统人工检测速度慢、效率低的问题。

2.提升检测准确性:通过AI技术提高缺陷检测的准确率。

3.降低误报率:优化算法减少因环境变化等因素导致的误报。

4.实时监测与分析:实现钢带表面缺陷的实时监测与分析,及时发现生产问题。

5.数据集成与分析:集成实时监测数据与历史数据,提供深入的生产分析。

预期成果

1.实用新型专利:预期于项目结束前申请至少一项实用新型专利。

2.技术论文:发表至少一篇关于AI在工业检测应用的技术论文。

3.系统原型:开发出一个完整的钢带表面缺陷实时监测与分析系统原型。

4.生产效率提高:通过实际应用案例分析,展示系统如何提高生产效率和产品质量。

5.市场推广:制定市场推广计划,为系统商业化奠定基础。

2024年6-7月:

需求分析:调研钢带生产行业对表面缺陷检测的具体需求,包括缺陷类型、检测精度要求、实时性要求等,明确系统功能和性能要求

2024年7-9月:

技术研究与选型阶段:

1)研究现有的基于AI的图像检测和缺陷检测技术

2)对比不同技术方案的优缺点,选择最适合本项目的技术方案

3)调研并选择合适的AI模型和算法,如RetinaNet等

4)搭建实验环境,进行初步的技术验证

2024年9-10月:

数据采集与预处理:收集大量的钢带表面图像数据,并进行预处理,包括图像增强、标准化和归一化

2024年10月-2025年2月:

系统设计与开发阶段:

1)设计系统的整体架构和模块划分

2)编写详细的设计文档,包括数据库设计、接口设计等

3)型训练与优化:使用收集的数据训练深度学习模型,并进行调参优化,以达到高准确度的缺陷检测

4)开发系统的各个功能模块,包括图像采集、图像处理、缺陷检测、结果分析等

5)进行系统集成和测试,确保系统稳定运行并满足性能要求

2025年2月-4月:

系统优化与部署阶段

1)根据测试结果对系统进行优化,提高检测精度和效率

2)准备系统的部署方案,包括硬件准备、网络环境搭建等

3)在目标环境中部署系统,并进行现场测试,实现对钢带生产线的实时监控,及时发现并分类各种表面缺陷。

4)编写用户手册和操作指南,培训用户使用系统

2025年4月:

准备结题:进行工作总结并填写相关结题表格,撰写研究论文和总结报告,参加结题答辩等。

1.研究积累和成绩

1)团队成员已在图像处理和机器学习领域进行了初步研究,阅读了相关论文。

2)完成了初步的钢带表面缺陷图像数据收集工作,构建了一个小型的缺陷图像数据库。

3)进行了基于传统图像处理技术的钢带缺陷检测原型开发,验证了项目的可行性。

4)项目负责人拥有相关软件著作权证书一项。

summernote-img

                  图4 相关软件著作权证书

2.已具备的条件

1)拥有高性能的计算资源,包括GPU服务器,适用于深度学习模型的训练和测试。

2)实验室已配备必要的图像采集设备,能够进行钢带表面图像的高清拍摄。

3)与钢铁企业建立了合作关系,可获取实际生产环境中的钢带样本和数据。

4)团队由具有计算机科学和数据分析背景的跨学科成员组成。

3.尚缺少的条件及解决方法

1)缺少条件:大规模的钢带缺陷图像数据库。

        解决方法:通过与合作企业进一步沟通,获取更多的工业现场图像数据;同时,利用数据增强技术扩充现有数据库。

2)缺少条件:深度学习模型的优化和调优经验。

        解决方法:邀请在深度学习领域有丰富经验的教授作为项目指导;参加相关的工作坊,提升团队成员的技术水平。

3)缺少条件:实时监测系统集成和测试的经验。

        解决方法:与自动化设备供应商合作,获取系统集成的专业指导;在实验室环境中模拟实际生产流程,进行系统集成测试。

4)缺少条件:项目资金支持。

        解决方法:申请校内外的科研项目资助;寻求企业合作,探讨共同研发的可能性

经费预算

开支科目 预算经费(元) 主要用途 阶段下达经费计划(元)
前半阶段 后半阶段
预算经费总额 30000.00 15000.00 15000.00
1. 业务费 21000.00 10500.00 10500.00
(1)计算、分析、测试费 0.00 0.00 0.00
(2)能源动力费 0.00 0.00 0.00
(3)会议、差旅费 10000.00 用于项目组成员参加学术会议或外出调研的交通、住宿费用 5000.00 5000.00
(4)文献检索费 1000.00 用于支付论文检索或查新等费用,以确保项目研究的前沿性和创新性 500.00 500.00
(5)论文出版费 10000.00 用于支付论文发表时的版面费、审稿费等出版相关费用 5000.00 5000.00
2. 仪器设备购置费 8000.00 用于购买项目研究所需的基础实验设备和工具,如传感器、数据采集卡、专用图形处理器等 4000.00 4000.00
3. 实验装置试制费 0.00 0.00 0.00
4. 材料费 1000.00 用于覆盖项目文档打印、复印、办公用品采购等日常办公开支 500.00 500.00
结束