桂林理工大学

详情

基于YOLOv8的智能冰箱管理系统

申报人：王靖杰 申报日期：2024-06-01

基本情况

2024年批次
基于YOLOv8的智能冰箱管理系统 学生申报
创新训练项目
工学
电子信息类
学生自主选题
一年期
随着智能家居的发展，智能冰箱逐渐成为提升家庭生活质量和健康管理水平的重要设备。本项目旨在开发一个基于YOLOv8技术的智能冰箱管理系统，通过先进的计算机视觉和物联网技术，实现食材识别与管理、个性化食谱推荐、腐坏食材提醒、紫外杀菌与食物保鲜、人AI语音功能和友好的人机交互界面等功能。利用ESP32CAM摄像头采集冰箱内食材的图像，通过YOLOv8算法利用实时识别食材种类和数量。结合机器学习算法，推荐健康、营养丰富的食谱。 增加LED补光模块以及紫外线PCB板，定期进行紫外线杀菌处理。 在树莓派上安装触摸屏，提供直观、友好的用户界面。获取API Key和Token，进行语音合成服务的访问和调用。通过这些功能，用户可以高效管理冰箱内的食材，获取个性化的健康饮食建议，减少食材浪费，保障食品安全，提升生活的智能化和便捷性。
2023年，第十一届光电设计大赛东南赛区一等奖
2023年，第十一届光电设计大赛全国区三等奖
2023年，全国大学生单词竞赛全国三等奖
2023年，大学生创新训练项目，非接触式血糖测量仪，已结题
梁秋群老师：主持广西自然科学基金项目并已结题，参与多项国家自然科学基金项目。主持大学生创新创业训练计划，区级项目，磁悬浮小车的设计与制作，2021.5-2022.5已结题；区级项目，基于Matlab的光学现象的仿真设计，2020.4-2021.4已结题。
指导老师主讲《大学物理》《应用光学》《光学设计及CAD》《光电传感器应用技术》等课程，对光电的相关知识比较熟悉。并多次指导大学生创新创业训练项目，积累了丰富的经验。
区级

项目成员

序号 学生 所属学院 专业 年级 项目中的分工 成员类型
王靖杰 物理与电子信息工程学院 光电信息科学与工程 2021 硬件设计
李永昌 物理与电子信息工程学院 光电信息科学与工程 2021 后端处理
何明健 物理与电子信息工程学院 光电信息科学与工程 2021 前端设计
李忠豪 物理与电子信息工程学院 光电信息科学与工程 2021 文档编写
许哲伟 物理与电子信息工程学院 光电信息科学与工程 2021 文档编写

指导教师

序号 教师姓名 所属学院 是否企业导师 教师类型
梁秋群 物理与电子信息工程学院 否
李明 物理与电子信息工程学院 否

立项依据

随着物联网（IoT）和人工智能（AI）技术的迅速发展，智能家居逐渐成为现代家庭的重要组成部分,智能家居设备通过连接网络，能够实现远程控制和自动化管理，提升家庭的舒适性和安全性。在这种背景下，智能冰箱作为智能家居系统中的核心设备之一，受到了广泛的关注和研究。
大多数现有智能冰箱并不具有食材识别的功能。而具有记录食材识别的功能的冰箱，主要依赖用户手动输入来记录食材信息。这种方式繁琐且易出错，不方便用户进行管理。此外，传统冰箱无法监测食材的新鲜度，用户常常发现食材变质时已经过晚。再者，传统冰箱仅具备基本的冷藏和冷冻功能，无法根据冰箱内的现有食材为用户推荐菜谱。用户需要自行查找食谱并手动对比冰箱内的食材是否齐全，这既耗时又费力，尤其对于时间紧张的现代家庭来说，这一过程非常不便。现有冰箱主要依靠恒温制冷来保持食材新鲜，但对于细菌和霉菌的抑制效果有限。目前大部分冰箱依赖手动操作，用户体验较为传统。少数智能冰箱虽然提供语音功能，但识别准确率和响应速度有待提升。许多智能冰箱的用户界面复杂，广告居多，操作不便，难以满足不同年龄段用户的需求。
本项目旨在开发一个基于YOLOv8技术的智能冰箱管理系统，通过先进的计算机视觉和物联网技术，实现食材识别、食谱推荐、腐坏食材提醒、环境管理和人机交互等多种功能。该系统不仅能够帮助用户高效管理冰箱内的食材，提供个性化的健康饮食建议，还能有效减少食材浪费，保障食品安全，提升用户生活的智能化和便捷性。
本项目拟开发一个智能冰箱管理系统，实现食材识别、食谱推荐、腐坏食材提醒、环境管理和人机交互等多种功能。下面从计算机视觉与图像处理技术、深度学习与机器学习、用户界面与人机交互、系统集成与测试四个部分陈述本项目的研究内容。本项目的主要研究内容，如下图1所示。
1.计算机视觉与图像处理技术
①食材图像采集与预处理
研究ESP32CAM摄像头的图像采集技术，包括图像的分辨率、帧率、光照处理等。研究图像预处理技术，如图像增强、去噪、白平衡调整等，提高食材识别的准确性。利用ESP32CAM摄像头采集冰箱内食材的图像，通过YOLOv8算法实时识别食材种类和数量。系统将食材信息存储并在触摸屏界面上展示，帮助用户高效管理食材，避免重复购买和食材浪费。确保摄像头能够在各种光照条件下稳定、高质量地采集冰箱内的食材图像。
②YOLOv8目标检测：
深入研究YOLOv8目标检测模型，包括模型训练、优化和部署。探索如何结合这两种技术实现高效、准确的食材识别。开发一个能够实时识别冰箱内各种食材的系统，识别准确率达到85%以上。
2.深度学习与机器学习
①食材识别模型训练与优化
收集并标注大量食材图像数据集，使用这些数据训练YOLOv8模型。研究模型的优化方法，包括数据增强、迁移学习、模型剪枝等，提高模型的识别性能和运行效率。训练一个能够在低资源环境（即树莓派）上高效运行的食材识别模型。
②个性化食谱推荐系统
研究基于用户偏好和健康数据的个性化推荐算法。收集用户食材信息，构建食谱推荐模型，优化推荐效果。开发一个能够根据冰箱内现有食材推荐健康食谱的系统。
3.用户界面与人机交互
①触摸屏前端设计
研究树莓派触摸屏的UI设计，确保界面简洁直观，操作便捷。设计用户可以通过触摸屏查看食材信息、获取食谱推荐、接收提醒等功能的交互界面。开发一个用户体验良好的人机交互界面。
②自然语言处理与语音识别技术
研究语音数据采集与预处理，收集不同环境下的语音数据，确保系统在各种噪声条件下都能正常工作。选择先进的百度语音识别模型）并进行训练，以提高语音指令识别的准确性。结合深度学习技术，优化模型参数，提升模型在不同语音环境和口音下的识别性能。研究低延迟的语音识别算法，实现语音指令的实时处理，确保系统响应的及时性和用户体验的流畅性。
4.系统集成与测试
①系统集成与优化
将各模块进行集成，优化系统整体性能。解决集成过程中出现的兼容性和稳定性问题。构建一个功能完整、性能稳定的智能冰箱管理系统。
②系统测试与迭代
制定系统测试计划，进行全面的功能测试和性能测试。收集测试数据，发现并解决系统问题。根据测试反馈不断迭代优化系统。确保系统在实际使用中的稳定性和可靠性，提升用户体验。
通过对上述研究内容的深入研究和开发，本项目将能够实现一个高效、智能、用户友好的冰箱管理系统，满足现代家庭对智能化、健康化生活方式的需求。
summernote-img
图1本项目的主要研究内容

冰箱作为家居生活必备的大家电之一，正迎来新一轮变革。冰箱行业正经历其第五次升级，从简单的冷藏冷冻功能到如今的智能保鲜技术。根据GfK统计数据，2023年冰箱市场全年零售量达3640万台、零售额达1153亿元，反映出消费者对冰箱产品不断升级的需求。
随着科技发展、人民生活水平提高，冰箱也愈发复杂化、智能化。传统的家电评判体系和测试方法将逐渐不再适用于现在新兴的智能家电产品，行业亟需一次从检测工具到检测方法的全面革新。将人工智能应用于缺陷检测即为智能缺陷检测，目前主要是利用机器视觉技术实现，被称为视觉缺陷检测方法。AI检测在其 他行业早已得到成熟应用，2019年香港理工大学便研发一种名为 “WiseEye”的智能织物疵点检测系统。WiseEye智能织物疵点检测 系统可有效将生产不合格织物的几率降低90%，从而大大减少了生产过程中的损失和浪费，有助于节省人力并加强纺织品制造业的自动化管理。
海尔自20世纪30年代以来，通过研发超无氟节能冰箱，引领冰箱行业从有氟到无氟的技术变迁。进入21世纪，海尔又推出无霜冰箱、平嵌冰箱和全空间保鲜冰箱，满足用户对能耗、设计和保鲜的高需求。
在2024年中国家电及消费电子博览会（AWE2024）上，海尔冰箱发布了全空间智能保鲜舱，这台具备“会思考、会学习、主动决策”功能的冰箱引发了广泛关注。海尔通过创新升级，再次引领冰箱行业迈入人工智能（AI）时代。人工智能在冰箱中的集成已经彻底改变了我们与这一基本家用电器的互动方式。随着机器学习（ML）和AI技术的进步，智能冰箱已经不仅仅是一个储存食物和饮料的地方。AI在冰箱中的应用开启了一个充满可能性的世界，从管理冰箱负载到根据冰箱内的内容生成食谱。
如今，海尔通过全空间智能保鲜舱，推动冰箱行业进入AI时代。这款冰箱通过AI技术实现了“感知、决策、执行”全流程的主动智能服务。它可以识别1200多种食材的异味，自动计算杀菌模式并净化冰箱；感知食材的放入时间和存储天数；当食材接近过期时，通过海尔智家APP提醒用户，并根据地域推荐个性化食谱。此外，冰箱还能联动蒸烤箱，实现一键烹制。
随着科技发展、人民生活水平提高，冰箱也愈发复杂化、智能化。传统的家电评判体系和测试方法将逐渐不再适用于现在新兴的智能家电产品，行业亟需一次从检测工具到检测方法的全面革新。将人工智能应用于缺陷检测即为智能缺陷检测，目前主要是利用机器视觉技术实现，被称为视觉缺陷检测方法。AI检测在其 他行业早已得到成熟应用，2019年香港理工大学便研发一种名为 “WiseEye”的智能织物疵点检测系统。WiseEye智能织物疵点检测 系统可有效将生产不合格织物的几率降低90%，从而大大减少了生产过程中的损失和浪费，有助于节省人力并加强纺织品制造业的自动化管理。
通过这些创新，海尔冰箱不仅拓宽了用户健康饮食生活的想象空间，也打开了冰箱行业AI时代的大门。海尔的持续创新驱动了整个行业的发展，凭借全球专利6连冠的科技实力，海尔引领冰箱行业走向智能化新时代，推动其他品牌加速创新，共同提升用户的生活体验。
国外Soh等人（2021）讨论的冰箱负载管理系统与AI和IoT警报是AI在冰箱中的关键应用之一。该系统利用对象检测来识别冰箱中储存的不同类型的饮料，如罐装和瓶装饮料。通过训练Faster R-CNN和SSD mobilenet等模型在一个图像数据集上，系统可以准确地统计检测到的饮料数量，并将这些数据发送到一个IoT云平台。如果库存不足，系统会通过Telegram发送通知提醒用户，这是一种方便高效的管理冰箱内容的方式。三星一直是AI驱动的冰箱技术的先锋，正如Bespoke 4-Door Flex™ Refrigerator with AI Family Hub+（Bespoke, 2024）所证明的那样。这款冰箱具有AI Vision Inside功能和一个大屏幕，可以根据饮食偏好生成食谱。同样，三星的新款Family Hub冰箱可以为用户设计食谱，展示了AI启用的智能冰箱的创新能力（Samsung, 2023）。AI在冰箱中的潜力不仅限于管理食品库存。配备AI的智能冰箱可以帮助减少食物浪费并推动可持续发展努力，正如《Smart Fridge: How AI Innovation Can Drive Sustainability》（2023）中所强调的那样。通过利用AI优化食品存储并根据可用成分建议食谱，智能冰箱可以在促进厨房可持续实践方面发挥重要作用。
参考文献
[1]杨鹏岳. 海尔冰箱：主导世界保鲜科技进入AI时代[N]. 中国电子报,2024-03-19(004).DOI:10.28065/n.cnki.ncdzb.2024.000331.
[2] 金轮. 基于图像和语音识别的智能家电测试关键技术研究和应用[J]. 家电科技, 2022(04): 14.
[3] 范春迎. AI驱动自动检测系统[J]. 国际纺织导报, 2019(09): 42.
[4] 汤勃, 孔建益, 伍世虔. 机器视觉表面缺陷检测综述[J]. 中国图象图形学报, 2017, 22(12): 1640-1663.
[5] Yequn Zhang; Yongxiong Ren; Baohua Sun; Lin Yang; Qi Dong; Systems and methods for determining an artificial intelligence model in a communication system, Gyrfalcon technology, 2018-11-13. Citation: 3
[6] Yunsik Park; Artificial intelligent refrigerator and system and method for controlling temperature thereof, Lg electronics, 2019-05-30.
[7] Jongwoo Han; Heeyeon Choi; AI apparatus and method for managing operation of artificial intelligence system, Lg electronics, 2019-06-07. Citation: 1
[8] Rahul Nair; Artificial intelligence orchestration layer to facilitate migrations between different artificial intelligence platforms, Paypal holdings, 2020-06-12.
下面分别从四个方面，陈述本项目的创新点和项目特色。
创新点：
①食材识别和个性化食谱推荐。本项目采用ESP32CAM结合YOLOv8目标检测算法，能够自动识别冰箱内食材的种类和数量。该方法实现了全自动、实时检测的食材管理，极大地提高了用户体验和管理效率。在冰箱内部增加了LED补光模块，提高低光环境下的食材识别精度。根据冰箱内现有食材信息，结合机器学习算法，提供个性化的健康食谱推荐
②食材腐坏提醒。通过摄像头和深度学习模型定期检测食材状态，识别即将腐坏的食材，及时提醒用户处理。
③紫外杀菌与食材保鲜。设计一块260nm紫外线PCB板，定期进行紫外线杀菌处理，优化冰箱内部的存储环境，延长食材保鲜期，确保食材卫生和安全
④AI语音功能和友好的人机交互界面。采用先进的语音识别和自然语言处理技术，系统能够准确理解用户的语音指令，实现自然流畅的对话。用户可以通过语音指令控制冰箱的各种功能，系统提供即时语音反馈，提升用户体验。本项目在树莓派上安装触摸屏，提供直观、友好的用户界面，用户可以通过触摸屏方便地查看食材信息、获取食谱推荐、接收腐坏提醒等，实现便捷的人机交互。系统界面设计简洁，操作简单，适合各类用户使用。
项目特色：
①系统能够高效、准确地识别各种类型的食材，识别准确率达到85%以上，为用户提供详细的食材信息和管理建议。用户无需手动记录食材信息，系统自动完成食材的识别和管理，大大提升了使用便利性。用户可以根据推荐的食谱，轻松选择和制作美味的菜肴，享受个性化的烹饪体验。用户无需花费大量时间寻找食谱，系统自动提供最佳选择，减少食材浪费，降低生活成本。
②用户可以及时了解食材的状态，确保食材的新鲜和安全，减少食物中毒的风险。通过提醒，用户能够在腐坏食材污染其他食物进行处理，减少食材浪费，提升资源利用效率。
③紫外线杀菌功能有效杀灭冰箱内的细菌和病毒，保障食材的卫生和用户的健康。杀菌功能与食材管理、语音交互等功能无缝集成，提供全方位的智能化冰箱管理解决方案。
④用户无需接触触摸屏，通过语音即可完成操作，提供更便捷、卫生的交互方式。用户可以通过触摸屏和语音交互，方便快捷地获取所需信息和服务，提升整体用户体验。多模态交互方式使得系统操作更加灵活和高效，适应不同用户的使用习惯和需求。
技术路线：
下面从硬件设计、后端构建和前端设计三个方面，陈述本项目的技术路线。本项目的硬件方面的技术路线，如下图2所示。
1硬件方面：
①摄像头模块——负责食材图像的采集
技术路线：选用ESP32CAM摄像头，研究其图像采集技术，包括分辨率、帧率和光照处理等。设计和实现图像预处理算法，如图像增强、去噪、白平衡调整等。将采集的图像数据通过Wi-Fi传输到主机进行处理。
②树莓派主机——主要计算平台和用户交互界面
技术路线：安装Raspbian操作系统，配置必要的软件环境。实现触摸屏的用
户界面。
③LED补光模块—光照不足的情况下提供补光，以提高食材识别的准确性。
技术路线：选用合适的LED灯，设计并实现其电路驱动和控制逻辑。通过树莓
派控制补光灯的开启和关闭，根据环境光强度动态调节补光强度。
④紫外线杀菌模块——定期对冰箱内部进行杀菌，确保食材存储环境的卫生。
技术路线：设计并制作260nm紫外线PCB板，研究其杀菌效果和安全性。实现
紫外线灯的控制逻辑，确保在无人使用冰箱时开启，并在设定时间内自动关闭。通过树莓派控制紫外线灯的工作时间和频率，确保杀菌效果和使用安全。
⑤AI语音模块——实现语音交互功能，提供语音控制和反馈。
技术路线：选用高精度麦克风和扬声器。研究语音识别，实现高效的语音识别和意图理解。通过树莓派与语音识别模块通信，处理用户语音指令并提供语音反馈。
summernote-img
图2硬件方面的技术路线
2在后端构建方面上：
①食材识别以及数据传输的技术路线
a.数据传输——通过摄像头采集食材图像，并使用UDP协议将图像数据传输到后端服务器。
技术路线：在ESP32摄像头上编写固件程序，使用摄像头模块采集图像。通过Wi-Fi连接，使用UDP协议将图像数据发送到后端服务器。实现数据传输的可靠性和稳定性，确保图像数据不丢失。ESP32与后端服务器之间建立可靠的数据传输通道，确保图像数据能够快速、稳定地传输到后端服务器进行处理。
b.目标检测——接收来自ESP32的图像数据，使用YOLOv8模型进行目标检测，
识别图像中的食材。
技术路线：在后端服务器上部署YOLOv8模型，接收并处理ESP32传输的图像数据。使用YOLOv8模型对图像进行目标检测，识别并标记图像中的食材信息。优化模型的处理速度和准确性，确保实时性和高准确率。YOLOv8模型与后端服务器的图像数据接收模块无缝对接，确保图像数据能够实时传输到模型进行处理，并将处理结果返回给后端服务器。
c.后端数据处理——接收并处理YOLOv8模型返回的识别结果，存储并管理食材信息。
技术路线：在后端服务器上实现数据处理模块，接收YOLOv8模型返回的识别结果。将识别结果存储到数据库中，更新食材信息。使用合适的数据结构和存储策略，确保数据的高效管理和快速访问。数据处理模块与YOLOv8模型和数据库无缝对接，确保识别结果能够及时存储和管理，为后续的数据处理和展示提供支持。
d.将数据发送到前端——将处理后的食材信息通过API接口发送到前端进行显示。
技术路线：在后端服务器上实现API接口，提供食材信息的查询和更新服务。使用HTTP协议，通过API将处理后的食材信息发送到前端。确保API接口的安全性和高并发处理能力。API接口与前端界面无缝对接，确保食材信息能够实时、准确地显示在用户界面上，为用户提供直观、便捷的使用体验。
本项目的食材识别以及数据传输的技术路线，如下图3所示。
summernote-img
图3 食材识别以及数据传输的技术路线
②AI语音功能
a.AI语言模型调用——获取API Key和Token，以便进行语音合成服务的访问和调用。
技术路线：在百度AI平台注册并创建应用，获取API Key。使用API Key和Secret Key，通过百度AI提供的API获取访问Token。
b.发送语音合成请求——将需要合成的文本和相关参数发送给AI语音合成接口，获取合成的语音数据。
技术路线：使用获取的Token，调用百度AI的语音合成API，将文本数据发送到百度AI服务器，获取返回的语音文件下载链接。获取API Key和Token
c.下载和播放WAV文件——将百度AI返回的WAV文件下载并在本地播放。
技术路线：编写并调用函数使返回的wav文件下载并自动播放。
本项目的AI语音功能的技术路线，如下图4所示。
summernote-img
图4 AI语音功能的技术路线
3在前端设计方面上：
①技术选型
HTML：用于构建前端页面的结构。
CSS：用于设计页面的样式和布局。
JavaScript：用于实现页面的动态功能和用户交互。
②前端平台搭建
a.页面布局与设计
使用HTML定义页面的基本结构，包括导航栏、主内容区、侧边栏等。
使用CSS进行页面样式设计，确保界面美观、布局合理。
b.功能实现与交互
使用JavaScript实现页面的动态功能，如数据展示、用户交互、提示信息等。
通过AJAX获取后端数据，并动态更新页面内容。
③用户界面优化
响应式设计：使用媒体查询（media queries）确保界面在不同设备上的良好显示效果。
用户体验（UX）设计：确保界面交互简单、易用，提供直观的用户指导和反馈。
拟解决的问题：
下面从硬件设计、后端构建和前端设计三个方面，陈述本项目拟解决的问题。
1硬件设计方面：
①图像采集和处理的问题
需解决在不同光照条件下，确保图像采集的质量和稳定性。通过图像预处理技术，提升食材识别的准确性和效率。
②智能控制的问题
需实现LED补光和紫外线杀菌的智能控制，根据实际需要自动调节工作状态，确保紫外线杀菌的安全性和有效性。
2后端构建方面：
①模型训练
冰箱内食材种类繁多，且在不同光照条件、摆放位置、角度等情况下，食材的外观差异较大。需要一个多样化和高质量的训练数据集，以确保模型在不同条件下都能准确识别食材。
②AI数据流传输处理问题
在处理数据流时，如果等待WAV文件播放完才能处理下一步数据，可能会导致语音播放不连贯，影响用户体验。
3前端设计方面：
尚未设计出完整的网页功能。
预期成果：
下面从硬件设计、后端构建和前端设计三个方面，陈述本项目预期的成果。本项目的预期效果，如下图5所示。
1硬件设计方面：
①高质量的食材图像采集
系统能够在良好的光照条件下，稳定、高质量地采集冰箱内食材的图像，并进行有效的图像预处理，提高识别的准确性。
②高效的LED补光和紫外线杀菌
LED补光系统能够根据环境光强度动态调整，确保食材识别的准确性。紫外线杀菌系统能够定期进行有效杀菌，保障食材存储环境的卫生。
2后端构建方面：
①高识别准确率
模型能够准确识别冰箱内各种食材，识别准确率达到85%以上。
②实时性
模型具备高效的计算性能，能够实时处理摄像头采集的图像，及时反馈识别结果。
③稳定性和可靠性
模型在实际应用中表现稳定，能够长期可靠运行，提升智能冰箱管理系统的用户体验。
④高效的数据处理和语音播放
通过多线程技术，实现数据处理和语音播放的并行进行，确保语音播放的连贯性和数据流处理的高效性。
⑤流畅的用户体验：
本系统消除语音播放的间断现象，提升用户使用智能冰箱管理系统的体验。
3前端设计方面：
①实时数据展示
用户能够实时查看冰箱内各类食材的状态信息，如是否新鲜、即将过期等。用户可以获取系统推荐的菜谱，根据冰箱内现有食材合理安排饮食。
②良好的用户体验
界面简洁美观，操作直观便捷。用户可以通过触摸屏方便地查看和操作系统。提供及时的提示和反馈，如食材即将过期提醒、食材推荐等，提高用户的使用满意度。
③多设备兼容性
系统界面在不同设备上均能良好显示，适应不同屏幕尺寸和分辨率。无论是通过冰箱上的触摸屏，还是通过手机、平板等设备访问，用户都能获得一致的使用体验。
summernote-img
图5 本项目的预期效果
2024.6-2024.7：项目启动与基础开发。
①需求分析与系统设计
明确项目需求，定义系统功能模块。制定系统架构，设计硬件与软件的方案。购买ESP32CAM摄像头、树莓派、LED灯光和紫外线灯光等硬件设备。
②硬件模块配置与初步测试
配置ESP32CAM摄像头，进行图像采集测试，确保硬件设备正常工作。设计并安装LED补光模块，优化冰箱内部光照条件。
③数据收集与预处理
收集不同种类食材的图像数据，建立初步的食材图像数据库。进行图像预处理，包括图像增强、去噪、白平衡调整等。
④食材识别模型初步开发
选择合适的深度学习模型（如YOLOv8）进行食材识别。使用收集的食材图像数据进行模型训练，初步实现食材识别功能。
2024.8-2024.12：核心功能开发与优化
①食材识别模型优化
进行模型优化，包括数据增强、迁移学习、模型剪枝等，提高识别精度和效率。将优化后的模型部署在树莓派上，进行实地测试和调整。
②个性化食谱推荐系统开发
收集用户食材信息，建立数据模型。设计并实现个性化食谱推荐算法，根据用户现有食材动态推荐健康食谱。
③用户界面设计与开发
设计直观、友好的触摸屏界面，展示食材信息、食谱推荐和提醒功能。在树莓派上开发触摸屏用户界面，确保用户能够方便地进行操作。
④环境管理功能实现
设计并集成260nm紫外线PCB板，实现冰箱内部的定期杀菌功能。开发食材新鲜度实时监测功能，及时识别腐坏食材并提醒用户。
2025.1-2025.4：系统集成与测试
①系统集成
将各功能模块（食材识别、食谱推荐、用户界面、环境管理等）集成到统一的系统平台上。进行系统性能优化，确保各模块无缝协作，系统运行流畅。
②系统测试与迭代
进行全面的功能测试，验证系统各项功能是否正常工作。进行性能测试，确保系统在高负载下的稳定性和响应速度。
③用户体验测试与优化
邀请用户进行体验测试，收集用户反馈，发现并解决用户体验问题。根据用户反馈，优化用户界面和交互流程，提升用户满意度。
2025.5-2025.6：系统集成与测试
①项目收尾与文档整理
对系统进行最后的调试和优化，确保项目达到预期目标。整理项目文档，包括需求文档、设计文档、测试报告、用户手册等。
②项目验收
进行项目验收，准备项目展示材料，向评委老师汇报项目成果。通过以上进度安排，完成智能冰箱管理系统的开发与实现。确保系统功能完整、性能稳定，并提供良好的用户体验。
1.与本项目有关的研究积累和已取得的成绩
项目负责人获得2023年第十一届全国大学生光电设计大赛东南赛区一等奖、第十一届全国大学生光电设计大赛全国区三等奖。拥有大型赛事的比赛经验。项目负责人在第十一届光电设计大赛题目为：酒精的非接触式测量仪。通过STM32F103单片机作为上位机，利用I2C通信协议与所画的1500nm红外光与光电二极管建立通信，获取光电二极管返回的电压值与酒精建立相关的数学关系，利用串口输出在电脑上输出所获取的电压值与酒精真值。
项目负责人熟练掌握：Keil 5软件、proteus仿真软件、solidworks3D建模软件、C语言、Python语言、PCB板的绘制等软件的操作。
summernote-img
图6第十一届全国大学生光电设计大赛——酒精的非接触式测量仪的实物图
summernote-img
图7 第十一届全国大学生光电设计大赛的荣誉证书
已具备的条件：
①硬件模块已初步建成
已经购买并配置了ESP32CAM摄像头，能够进行基本的图像采集。设计并集成了LED补光模块，优化了冰箱内部的光照条件。初步设计了260nm紫外线PCB板，用于定期杀菌。补光灯PCB线路板和紫外线杀菌PCB线路板如下图8和图9所示。
summernote-img
图8 补光灯PCB线路板
summernote-img
图9紫外线杀菌PCB线路板
②后端框架已初步建立
已经搭建了后端服务器，具备数据接收、处理和存储能力。后端框架设计完毕，能够支持食材识别和食谱推荐等核心功能的开发。YOLOv8目标识别的效果图与开发界面，如下图10图11所示。
summernote-img
图10 YOLOv8目标识别的效果图
summernote-img
图11 YOLOv8目标识别的开发页面
③前端页面设计已基本完成
基本的前端用户界面目前已经设计完成。前端页面能够与后端服务器进行初步的交互，展示基本的数据。智能食材管理系统的前端界面与开发页面，如下图12、图13所示。
summernote-img
图12 智能食材管理系统的前端界面
summernote-img
图13 智能食材管理系统的前端开发界面
尚缺少的条件及解决方法
①食材识别模型的训练与优化
尚缺条件：高质量、标注齐全的食材图像数据集，优化后的深度学习模型（如YOLOv8）。
解决方法：
a.数据收集：通过互联网和实地拍摄，收集更多种类和数量的食材图像，建立高质量的数据集。
b.数据标注：借助标注工具，对收集的图像进行分类和标注，确保数据集的准确性。
c.模型优化：通过数据增强等方法，优化食材识别模型，提高模型的识别精度
和运行效率。
②个性化食谱推荐系统的开发
尚缺条件：用户食材信息的全面收集与处理，完善的推荐算法。
解决方法：
a.数据收集与处理：通过用户调查和数据采集，获取用户的饮食偏好和健康数据。使用数据处理工具进行数据清洗和整理。
b.算法开发：设计并实现个性化食谱推荐算法，结合用户偏好和现有食材进行动态推荐。
③用户界面的优化与完善
尚缺条件：用户界面交互设计的优化与完善。
解决方法：
a.界面优化：根据用户反馈，优化前端页面的布局和交互设计，提升用户操作的便捷性和直观性。
b.用户测试：邀请用户进行界面体验测试，收集用户意见和建议，持续改进界面设计。
④系统集成与性能优化
尚缺条件：各功能模块的无缝集成和系统整体性能的优化。
解决方法：
a.模块集成：将食材识别、食谱推荐、用户界面和环境管理等功能模块进行集成，确保各模块协同工作。
b.性能优化：通过代码优化和资源管理，提高系统的响应速度和稳定性，确保在高负载下仍能稳定运行。
通过以上措施，逐步补齐尚缺的条件，确保项目在既定时间内顺利完成，达到预期的研究目标和成果。

经费预算

开支科目 预算经费（元） 主要用途 阶段下达经费计划（元）
前半阶段 后半阶段
预算经费总额 8000.00 电子材料费用、调研费用、测试费用 5000.00 3000.00
1. 业务费 4000.00 无 1000.00 3000.00
（1）计算、分析、测试费 0.00 无 0.00 0.00
（2）能源动力费 0.00 无 0.00 0.00
（3）会议、差旅费 1000.00 调研等费用 1000.00 0.00
（4）文献检索费 0.00 无 0.00 0.00
（5）论文出版费 3000.00 相关论文的版面费 0.00 3000.00
2. 仪器设备购置费 0.00 无 0.00 0.00
3. 实验装置试制费 1000.00 用于测试PCB是否符合项目需求 1000.00 0.00
4. 材料费 3000.00 电子器件购买 3000.00 0.00
结束

用户单位： 桂林理工大学        

版权所有： 南京先极科技有限公司