基于机器视觉的安瓿瓶智能开启装置

研究安瓿瓶自动开启器的主要目的在于解决医疗过程中由于手动开启安瓿瓶而引发的一系列问题和风险。据《美国临床护理杂志》报道，传统手动开启方法导致大约30%的护士在操作过程中经历过至少一次割伤或划伤。此外，根据《药学实践与研究》的研究，手动开启安瓿瓶时有超过25%的情况下会有玻璃碎片掉入药液中。护士在开瓶过程中暴露于有害物质的风险也不容忽视，这一点由《国际卫生政策研究所》的数据支持。通过开发一个自动开启器，可以提高药品的安全性和操作的标准化，减少药物污染和人员伤害的风险，并在紧急情况下快速有效地提供必需药物。根据《医疗设备创新论坛》的报告，这种自动化的解决方案在提高操作简便性的同时,减少高达40%的药物浪费，从而提升整体医疗服务的效率和质量。

具体来说，自动开启器的研究目的包括以下几个方面：

1、提高开瓶效率：传统的手动开启方式耗时较多，效率低下。自动开启器可以实现流水作业，显著提高开瓶效率。

2、保障药物安全：在手动开启过程中，容易发生药物污染。自动开启器集成了消毒和去屑功能，可以有效避免药物在开启过程中的污染。

3、减少职业暴露风险：医护人员在手动开启安瓿瓶时，容易被玻璃划伤或刺伤，造成职业暴露。自动开启器的设计减少了直接接触玻璃的机会，从而降低了职业暴露的风险。

4、简化操作流程：自动开启器集成了消毒、切割、开启等多个步骤，使得操作更加简便，减轻了医护人员的工作负担。

5、适应性强：研究的目的还包括设计出的安瓿瓶自动开启器能够适应不同型号安瓿瓶的开启器，使其能够在各种临床科室广泛使用。

本研究基于现有市场上未有基于机器视觉的安瓿瓶智能开启装置：

1、基于机器学习的安瓿瓶识别：

·OpenCV广泛应用于计算机视觉任务的开源库，机器学习使计算机能够从数据中学习并做出预测或决策。结合OpenCV和机器学习技术从而实现更强大、更智能的计算机视觉应用；

·通过使用OpenCV库从摄像头捕获视频流，并对图像进行必要的预处理，如缩放、裁剪和颜色空间转换，以适应模型的输入要求。然后，将处理后的图像送入yolov5-Lite模型进行目标检测，最后完成对安瓿瓶的种类识别；

2、基于伺服电机系统的安瓿瓶高精密夹具及切割装置

·完成安瓿瓶种类识别之后，传入参数控制伺服电机的力度从而高精度的对安瓿瓶进行夹取工作；

·通过切割装置，智能开启安瓿瓶；

3、面向医疗保护的整机设计

·通过使用我们的设备可以大大减少人员伤害和药物污染的情形；

·在对安瓿瓶切割后进行有效回收，采用包装、密封或压缩等方式，将碎片安全地储存和运输至回收处理场所，以防止其对环境和人员造成伤害；

1、OpenCV发展现状和动态：

·开发出API形成标准，解决了正式世界的实时应用；

·借由Intel的IPP高性能多媒体的函数库和优化C语言代码的编写，大大加快了分析图像的速度，从而提高分析图像的效率；

·目前OpenCV在以下领域大有作为：

①　工业检测：在制造业中，可以利用OpenCV对产品进行质量检测，通过图像处理和特征识别技术来提高生产效率和产品质量；

②　安防监控：在安防领域，可以利用OpenCV实现人脸识别、目标跟踪等功能，提高监控系统的智能化水平；

③　医学影像分析：在医学领域，可以利用OpenCV对医学影像进行分析和处理，辅助医生进行疾病诊断和治疗；

④　智能交通：在交通领域，可以利用OpenCV实现车辆检测、交通拥堵分析等功能，提高交通管理效率和道路安全性；

2、YOLO发展现状和动态

·YOLO系列模型已经成为实时目标检测领域的领先方法：

①　许多研究通过修改结构、增加数据和设计新的损失，将基线推高到更高的水平；

②　随着深度学习技术的持续发展，YOLO算法的性能得到进一步提升，具有更高的检测精度、更快的处理速度以及更强的泛化能力；

③　把 CSPNet、 ELAN 这两种神经网络架构结合起来，从而设计出兼顾轻量级、推理速度和准确性的通用高效层聚合网络；

3、基于机器学习的安瓿瓶智能开启器的发展现状和动态

·目前有着部分基于深度学习的安瓿瓶表面或包装缺陷检测方法研究；

·没有将YOLO利用于安瓿瓶的种类识别并智能开启；

·目前国内没有安瓿瓶新型智能开启器装置的生产使用；

创新点：

1. 基于机器视觉智能安瓿瓶开启器

2. 通过高精度的伺服电机控制安瓿瓶的夹取

3. 可以大大减少医疗污染和增强对医护人员的保护

4. 实时识别检测安瓿瓶的种类到开启所花时间之少

项目特色：

1. 安瓿瓶智能开启器（机械装置）：

·拥有完成的结构和装置实现组成图：

图1 安瓿瓶智能开启器框图

·具体机构功能：

①　切割机构用于在安瓿瓶曲颈处切割出槽；

②　转动机构用于带动所述切割机构绕一转轴转动，在安瓿瓶曲颈处切割出圆环形或圆弧形的槽；

③　开瓶机构用于使切割后的安瓿瓶沿着切割处分离成两段；

④　夹紧装置用于固定安瓿瓶，并使得安瓿瓶的轴线与所述转轴的轴线重合；

⑤　流道装置用于将安瓿瓶沿着设定通道滑入可被所述夹紧装

1. 高精度及高反应的视觉识别系统

·OpenCV的优点：

图2 OpenCV优点图

①　丰富的功能:OpenCV提供了丰富的图像处理和计算机视觉功能，包括图像预处理、特征提取、对象检测、物体跟踪等，这些功能为实现物体识别提供了强大的工具；

②　高性能:OpenCV底层使用C/C++实现，具有高效的性能，可以处理大规模图像数据，同时还提供了Python等语言的接口，方便快速的原型设计和开发；

③　持续更新和改进: OpenCV是一个持续发展的项目，其开发团队不断更新和改进库的功能和性能，保证了项目的长期可持续性和发展；

·YOLO的优点：

图3 YOLOV8优点图

①　轻量级: YOLO相对于其他物体检测模型（如Faster R-CNN、SSD等）更加轻量级，模型大小较小，适用于资源受限的设备和应用场景，如嵌入式系统、移动设备等。

②　简单易用: YOLO提供了简单易用的接口和工具，方便快速地进行模型训练、部署和应用，无需深度学习专业知识即可实现物体检测任务。

③　多种尺度检测: YOLO支持多种尺度的物体检测，可以检测不同大小和比例的物体，提高了模型的适用性和泛化能力

④　可定制性: YOLO提供了丰富的参数和配置选项，可以根据具体的应用场景和需求进行定制和调整，实现更好的检测效果和性能。

技术路线：

图4 技术路线图

1. 硬件配置与环境搭建

硬件配置：配置机械装置的硬件包括驱动系统（如切割电机和牵引电机）、传动系统、夹紧装置、流道装置以及转动结构部件。对于驱动系统和传动系统设计，根据五种安倍瓶的规格确定切割位置、切割深度、切割速度等参数。切割电机和夹紧装置的动作需要精确协调，以确保在正确的位置和时间执行切割操作。同时，还需要整合传感器以监测机械状态，并与树莓派进行连接，实现对机械装置的精确控制和监测。通过这些步骤建立起稳定可靠的机械装置，为系统的正常运行提供必要的物理执行支持。另外需要确保树莓派与摄像头（USB摄像头，因CSI接口可能存在支持问题）的兼容性和正确连接，以保证能够顺利读取摄像头实时数据，为下一步检测工作做基础。

图5 装置组成图

安瓿瓶自动开启器主要包含三大模块：识别模块、控制模块、机械模块。

①　识别模块：负责从摄像头获取图像数据，并利用轻量级的深度学习模型yolov5-Lite进行实时目标检测和识别。首先，使用OpenCV库从摄像头捕获视频流，并对图像进行必要的预处理，如缩放、裁剪和颜色空间转换，以适应模型的输入要求。然后，将处理后的图像送入yolov5-Lite模型进行目标检测，该模型特别适用于资源受限的设备，如树莓派（本项目采用写开发板系列）。检测完成后，对模型的输出进行后处理，提取出目标的位置和类别信息，并将其转换为控制模块可以使用的数据格式。为了提高系统的稳定性和响应速度，还可加入目标跟踪算法，减少因目标小幅移动导致的识别结果波动。

②　控制模块：控制模块的主要任务是根据识别模块提供的信息来制定控制策略，并驱动机械模块执行相应的动作。这包括根据识别结果制定决策逻辑，例如，如果检测到特定目标，则执行特定动作。然后，将这些决策转换为具体的控制信号或指令，如PWM信号或电机转速等。此外，控制模块还需要与机械模块进行通信，发送控制指令并接收状态反馈。需要实时监控系统的运行状态，并根据需要调整控制策略，以确保系统的稳定运行。

③　机械模块：机械模块是整个系统的物理执行部分，它包含了所有机械部件及其驱动电路。这包括驱动系统（切割电机、牵引电机）用于提供动力，传动系统用于传递动力至执行器，机械模块的流道装置用于将安瓿瓶沿着设定通道滑入可被所述夹紧装置夹持固定的区域，并限制安瓿瓶的曲颈位于可被所述切割机构切 割到的位置。，此外切割电机用于在安瓿瓶曲颈处切割出槽。机械模块还包含直接执行特定任务的部件，夹紧装置用于固定安瓿瓶，并使得安瓿瓶的轴线与所述转轴的轴线重合，转动结构部件用。此外，机械模块还包括各种传感器用于监测机械状态，以及电子控制单元（如树莓派）与机械部件之间的接口电路，用于实现对机械部件的精确控制。

环境搭载：在树莓派上安装操作系统，通常是定制的Linux发行版如Raspbian或Ubuntu 20.04。YOLO环境的部署，首先编译Darknet框架，确保拥有深度学习的环境。安装OpenCV库以便进行图像处理和利用其DNN模块进行深度学习推理，安装用于深度学习训练的框架，比如TensorFlow、torch vision、pytorch等。其次，为了优化推理性能，可以采用模型量化、使用ARM架构优化的库等方法。配置摄像头和输入流，确保其与树莓派的兼容性和正确连接，以捕获实时图像进行目标检测。最后，进行调试和性能优化，以确保YOLO模型在树莓派上稳定运行并实现预期的检测性能。

2. 模型准备与转换

模型的准备：首先从YOLOv5的GitHub仓库中获取源代码，收集并准备用于训练和验证的安倍瓶数据集。接着对数据集图像打目标标注，标注包括安倍瓶的类别和边界框坐标。接着配置训练参数和进行训练，配置训练参数，如模型的大小、学习率、批量大小等，以此获取精准的目标模型。使用准备好的数据集和配置好的参数进行模型训练。最后评估模型性能和优化模型： 在训练完成后，使用验证集或测试集评估模型的性能。根据评估结果对模型进行优化，包括调整网络结构、调整训练参数等。

模型的转化：使用YOLOv5-Lite的训练好的pt模型，并通过export.py脚本将其转换为ONNX格式，便于在OpenCV中使用。使用onnxsim工具对模型进一步简化，以减少计算负担。考虑到树莓派部署的效率，对模型进行量化和优化，以降低资源消耗并提高推理速度。

3. 实时目标检测实现

首先利用OpenCV的DNN模块加载经过转换后的YOLOv5-Lite模型。这个模型可以在树莓派上运行，调整模型的输入尺寸和批处理设置，以适应树莓派的内存和处理能力，以确保实时性。接着，编写代码以从摄像头获取实时视频流，并逐帧对视频流进行检测。在每一帧中，将图像送入YOLOv5-Lite模型进行目标检测，并获取检测到的目标的位置和类别信息。最后，将检测结果在视频流中标注出来，并实时显示在屏幕上。

4. 结果解析与应用分析

模型输出的结果，提取出检测到的目标及其位置信息。通过检测结果确定安瓿瓶位置，控制硬件设备升降、夹紧张开确保其曲颈位于切割机构准备切割的位置以避免损坏或浪费。最后在实际应用中进行测试分析，对项目进一步改进升级。

表1：项目进度安排表