【机器视觉】利用多台相机高速检测塑料比色皿、视觉检测系统提升汽车零件检测效果

2019 年 1 月 8 日 产业智能官

利用多台相机高速检测塑料比色皿

比色皿是一种管状容器，具有直边和圆形或方形横截面，一端密封，由透明材料如塑料制成。这种容器用于容纳血液等样品进行光谱分析。这种容器使用模塑工艺生产，生产速度可达每秒两个零件。

在产品成型过程中，可能出现瑕疵或着色等缺陷；为了避免这些缺陷，在将产品运送给最终用户之前，必须对其进行检查。为实现这一目的，英国Envisage Systems公司开发了两套自动化系统，每套系统使用五个成像站来检测比色皿及其盖子的尺寸、颜色以及可能出现的任何瑕疵。检测比色皿“我们生产的比色皿具有不同的尺寸和形状，所用材料也涉及塑料、玻璃或熔融石英等多个品种。”Envisage Systems公司首席执行官Mike Phillips介绍说，“在这种情况下，需要对双腔塑料比色皿进行检查。”这些类型的比色皿允许将测试样品和试剂放入容器中，然后通过自动化仪器分析反应混合物，从而改善实验室程序的效率。比色皿由Carclo Technical Plastics公司在注塑机中制造，由外腔和内腔构成，内腔约低1mm（见图1）。

图1：塑料比色皿是一种管状容器，由外腔和内腔构成，内腔约低1 mm。

“为了精确地检测这些零件，必须完成几项任务。”Phillips指出。

首先，必须检测在比色皿的圆顶或下部可能出现的任何污染。通常，这类污染是由于在生产过程中使用的塑料颗粒中的污染或是在模塑过程中的污垢引起的，污染呈现为黑色斑点，这些污染将影响任何测试的准确性。如果这些斑点的直径大于0.2mm，或者如果检测到大量的小斑点，则该比色皿必须弃用。还必须检测零件外部的类似污染。

其次，必须测量比色皿的上腔室和下腔室之间的距离，因为如果该高度不准确，则试剂可能不能与样品正确反应。颜色也会影响使用这些比色皿进行的任何测量。 Phillips说：“如果比色皿在过高的温度下注塑成型，那么它就会变黄。”这样的比色皿也必须作废。如果注塑机被其他聚合物污染，也可能出现其他污染。这将导致比色皿呈现混浊或乳状而非透明。

图2：首先使用带有定制真空吸盘的机器人一次取出八个比色皿，并将它们放在传送带上。

比色皿成对地沿着传送带行进，因此必须首先将它们分开，然后才能由五个检查站分别检查。最后，还要检测比色皿的密封盖上的闪光。

在Adept Automation Limited公司设计的输送系统中，带有定制真空吸盘的机器人，首先一次取出八个比色皿，并将它们放置在传送带上（见图2）。由于它们成对地沿着传送带行进，因此必须首先将它们分开，然后才能由五个检查站分别检查。为此，将星形轮放置在传送带线上。此星形轮将零件分开，然后它们以相等的间隔移动到600mm的旋转板上。该旋转板以每秒两个比色皿的速度，在5个成像站下传送它们（见图3）。

图3：星形轮将比色皿分开后，以相等的间隔将它们移动到600mm的旋转板上。该旋转板以每秒两个比色皿的速度，在5个成像站下传送它们。当比色皿接近第一个成像站时，通过光电传感器触发一台Basler 1920×1200 ace相机，该相机配备Moritex的MML固定放大镜头。为了对比色皿的圆顶进行成像，将相机放置在旋转的玻璃压板下，并使用70mm×70mm的白光MDEL-CW70 LED平板灯（同样来自Moritex公司）从上方提供照明。然后，相机捕获的图像通过GigE接口传输到PCI Express多端口千兆以太网适配器，其安装在基于Intel i7的PC中。为了处理这些图像以检测缺陷，Envisage Systems选择使用Teledyne DALSA公司的Sherlock机器视觉软件。

通过该软件的图形用户界面（GUI），首先在被检查零件的图像上创建一个感兴趣区域（ROI）。创建感兴趣区域后，将图像阈值化，并使用预编程的图像分析工具分割和分析在图像内呈现为斑点的任何缺陷。如果这些缺陷的直径大于0.2mm，或者存在很多小斑点、并且它们的累计总面积超过某个阈值，那么这个比色皿就是不合格的产品。检测完比色皿的圆顶之后，将其移动到第二个成像站。在这里，使用70mm×70mm的Moritex白光LED平板灯进行背光照明，并使用Basler ace相机进行垂直成像。接下来将捕获到的图像传输到PC，然后使用Sherlock blob分析工具，来检测比色皿是否有缺陷。“对透明塑料或玻璃成像的一大困难是，”Envisage公司的Phillips表示，“一旦背光照射，零件的边缘在拍摄的图像中会显得很暗。因此很难看出这些区域是否存在缺陷。”为了克服这个问题，接下来要将比色皿送到第三个成像站，在这里，一个70mm×70mm Moritex白光LED平板灯放置在零件后面偏离轴约20°的角度，使用另一台ace相机成像，相机同样离轴放置。“通过这种方式，”Phillips说，“第二和第三个成像站从两个不同角度捕获比色皿的图像，从而最大限度地减少了漏检可能存在的任何缺陷的可能性。”感兴趣区域在第二个和第三个成像站，还对捕获的图像进行了分析，查找是否有在注射成型工艺中引入的、导致比色皿呈现混浊或乳状而非透明的其他污染物。

为了完成这项任务，在比色皿图像的顶部和中间创建了四个不同的感兴趣区域，并使用Sherlock中的颜色分析工具测量每个区域的色调。然后比较每次测量的结果，如果它们之间存在明显差异，则该比色皿为不合格产品。完成这项检查之后，该比色皿再次在玻璃台上被转位到第四个成像站。在第四个成像站，需要测量出比色皿的内腔和外腔之间的高度差。为了完成这项任务，再次使用70mm×70mm的白光LED平板灯，从旋转玻璃板下方提供照明。Phillips介绍说：“照明光从比色皿的内部和外部腔室中衍射出来，在生成的图像中会显示出代表内腔和外腔高度的两条不同的线条。”通过另一台Basler ace相机捕获生成的图像，并通过GigE接口将图像数据传输到系统的主机PC。在这里，在零件的图像上创建一个感兴趣区域（ROI），并使用Teledyne DALSA的Sherlock软件中的测量工具，测量两个腔室之间的高度差。如果测量值不在给定的公差范围内，则该比色皿为不合格产品。完成这项检查后，比色皿被旋转到第五个成像站，也是最后一个检查站。Phillips说：“如果比色皿由于在过高的温度下注塑成型而非透明，将呈现出黄色调。这样的产品是无法接受的，因为当液体样品放置在两个腔室内时，它们会影响分光光度计的测量。”为了剔除呈现黄色调的比色皿，再次使用70mm×70mm白光LED平板背光，从背面照射比色皿。在这里使用配备Kowa LM35SC35mm镜头的Basler ace彩色相机来捕获图像，然后通过GigE接口将图像传输到主机PC。

在PC中使用Sherlock中的颜色分析工具，确定比色皿的色调以及该色调是否落在给定的公差范围内。如果不满足给定条件，则该比色皿为不合格产品。接下来，将用Sherlock计算的每个测量站的结果进行累积。如果比色皿通过任何一项检查，则该比色皿为不合格产品。为了完成这项任务，通过PC触发可编程逻辑控制器（PLC），PLC启动气动剔除机构，将不合格的比色皿吹入废品箱。类似地，合格的比色皿也通过一个气动执行器收集到合格品容器中。密封盖的检测除了检测比色皿本身的缺陷外，还需要利用光谱分析来检测比色皿密封盖的缺陷。为实现这一目标，Envisage Systems构建了一套单独的检测机器，其使用了四个机器视觉系统。然而，不同于检测比色皿的系统，盖子检测系统使用碗状进料器，将盖子输送到星形轮分离器上（见图4）。

图4：使用碗式进料器将盖子输送到星形轮分离器上。然后借助四个成像站检查盖子是否有污染物，并检查尺寸公差、颜色和任何闪光情况。同样，使用四个检查站检查盖子是否有污染物，并检查尺寸公差、颜色和任何闪光情况。因为盖子包含同心环以部分隔离比色皿的腔室，所以它们必须处于特定的公差范围内。将盖子分离后，它们经过一个检查站，使用70mm×70mm白光LED平板灯进行背光照明。在这里，使用配备远心镜头的GigE Basler ace相机对盖子进行成像，并使用Sherlock机器视觉软件工具查找可能存在的任何污染。完成这个步骤后，盖子被旋转到第二个检查站，测量盖子的两个同心环的内径和外径。完成这项检测后，在测量色调的第三检查站中确定盖子的颜色，并查看是否存在黄色污点。最后，使用背光照明和侧面安装的Basler ace相机，检查盖子的完整性以及是否存在任何闪光的情况。

图5：为了确保客户可以看到比色皿和盖子的检查过程，Envisage Systems公司设计了一个定制的前端，以便操作员可以看到检查过程的结果。通过图形叠置提供有关被检零件的区域信息。为了确保客户能够看到比色皿和盖子的检查过程，Envisage Systems公司使用C＃为两套机器视觉系统设计了一个独特的定制前端（见图5）。通过这种方式，操作员可以看到检查过程的结果，同时通过图形叠置在显示器上实时提供关于被检零件的区域信息。在开发了这个图形用户界面之后，该公司正在努力扩展此GUI，以便可以将其部署到其构建的其他众多机器视觉系统中。

基于深度学习的视觉检测系统提升汽车零件检测效果

在德国Continental公司的底盘及安全部门和车辆动力学（VED）业务部门，质量控制和基于相机的机器视觉检测方法，已经实行了很多年。例如，电子制动系统是汽车主动安全系统中最重要的环节，要对其进行100%的在线检测；电子制动系统是制造复杂的机电系统的重要部分，它们正以越来越多的品种供应给OEM厂商。

小型化、更高的集成水平以及更丰富的功能，使得生产工艺变得更复杂、更严苛。在提高系统性能的同时，还要降低汽车质量/重量以实现更高的燃油效率，这种需求要求在电子制动系统中实现电子、液压和机械三方面的高度集成。例如，MK 100单元（见图1）需要用可视化方法来检测微小的阀口孔、O形圈和阀门内壁，这对机器视觉系统的镜头、照明和特征提取功能都提出了严峻挑战（见图2）。

图1：MK 100电子制动系统的检测方法，对传统机器视觉系统的检测能力提出了严峻挑战。

简单的检测任务，如检测存在/不存在、零件是否正确放置或正确组装以及尺寸是否准确，很容易量化。然而，并不是所有用于确定产品OK还是NOK（非OK）的参数都是可量化的。一些潜在的NOK标准变化很大，并且无法通过数字、形状等方式加以量化。

图2：四幅图片展示了相机捕获到的典型工业光学检测图像。

另一个挑战是许多组件来自不同的供应商，但是需要在同一条生产线上用同一套机器视觉系统进行处理。通常，不同的供应商会在组件表面加工出不同的图案，这不仅改变了背景图案，也为特征提取带来了挑战（见图3）。

图3：四个合格零件的图像，外观差异很大，但是要求检测系统能够接受。

新的检测任务

尽管如此，全球VED产线上95%的检测任务，都可以通过Continental公司VED业务部门提供的先进标准化2D机器视觉系统来解决。有些地方会用到3D系统，但是越来越多的应用需要一种全新的解决方案。在典型的传统机器视觉应用中，系统知道需要查找什么，并且系统可以从符合要求的图像中识别出需要提取的特征，并将提取的特征与参考样本进行比较，最终将零部件直接分类为OK或NOK。但是，缺陷五花八门，不容易被量化，该怎么检测它们呢？

这些新的挑战可能需要彻底颠覆而不是逐步演进。比如，识别出零件上不同类型的污染物就是一种新的挑战。污染物可以是某种形式的油脂、灰尘或是尺寸、形状、外观都不同的各类碎屑，并且它们存在的位置也是随机的，这些都让量化和检测变得极具挑战性（见图4）。

图4：具有不同类型污染物或缺陷的NOK零件的图像，它们将被检测系统剔除出去。

为机器赋予人工智能

Continental公司VED机器视觉团队，正在为机器视觉应用挖掘深度学习算法的潜能和不同类型的算法。在某种程度上，基于深度学习的检测方法，其首次检测试图将传统机器视觉的速度、重复精度和准确性与只有人类思维才具备的能力结合在一起，这将为系统赋予人工智能的能力。就像有经验的工人能够识别出任何形态的污染物一样，一个训练有素的类神经网络也应该能够识别污染物，甚至有可能对这些污染物进行分类。例如，液压零件螺纹上的污染物将根据它们的材质和大小来分类为：严重或无关紧要。

作为众多同行者的一员，Continental公司VED业务部门正在评估由一家专业供应商提供的标准神经系统。该系统具有一套经过验证的架构，并提供机器视觉应用所需要的一些必要的工具库。神经网络需要一个受监督的学习阶段（learning phase）。在这个阶段，将很多零部件的图像输入到系统中，深度神经网络层从这些图像中提取特征，这些特征用于区分零件是OK还是NOK。这点与人类思维非常相似，OK和NOK图像的判定，代表着神经网络系统的分类新能。

超越基于规则的检测方法

在实际生产期间获得的图像，有助于为深度学习解决方案生成数据。现有的经验可以产生符合要求的图像，并借助照明和对比度突出相关特征，比如裂纹，典型机器视觉的核心技术仍然适用。然而，深度学习系统并不能像传统机器视觉检测系统那样，区分出背景和缺陷。在深度学习系统中，深度神经网络的输入层和输出层之间的隐藏层，通过一种特殊机制来实现提取特征。

然而，面对这种突破基于规则的算法边界的复杂情况，深度学习系统能比基于规则的软件表现出更好的性能。这就是Continental公司开始将人工智能用于产品开发和制造中的原因。例如，自动驾驶（AD）为人工智能提供了一种应用场景，在这种应用中，人工智能为控制单元赋予了处理新的或意外交通状况的能力；在这里，交通状况是无法通过规则来描述的。

为意外事件做好准备

Continental公司VED部门所追求的目标是：开发出一款能处理意外事件的新工具。新工具将面临许多挑战。第一项挑战是用于监督学习阶段的数据库，在此期间神经系统要学习大量的图像数据。

另一个挑战是时机的把握。如果新零件投入生产，很难获得OK和潜在NOK零件的图像。那么，基于深度学习的算法将如何完成其学习曲线呢？

一种解决方案是开发出一种能够快速学习的机器视觉系统。在短暂的试生产阶段完成图像收集后，这样的系统就可以为大规模生产做好准备了。

VED团队对质量的重视，反映在对深度学习视觉系统的性能要求上：将产品误判为NOK并不是一个严重的问题。因为如果一个OK零件被错误地分类为NOK，这将会增加生产成本，但却不会影响产品的质量安全性。但是，如果将一个NOK零件误判而归类为OK，则是完全不能接受的。

为了评估深度学习算法的性能，需要获取统计的背景数据，凡是在VED机器视觉实验室中进行的测试，将复制之前成功的日常生产情况。测试中包括OK和NOK的生产零件，它们均通过一个深度学习视觉检测系统，来验证是否有任何OK被判为NOK、或NOK被判为OK的情况发生。一旦发现分类中可能出现错误，系统也可以从中学习并修改这个监督学习阶段。通过彻底评估系统性能、并证实没有NOK零件被误判为OK，这种深度学习机器视觉系统才能被充分信任。

焊点检测的挑战

让VED受益于深度学习视觉系统的一个领域是焊点的检测。焊点的检测是一项特别棘手的任务，许多可能存在的缺陷在外观上有很大变化，而OK焊点看起来总是非常相似。找到NOK的点并不难，但是对于传统算法来说，要区分出缺陷的类别却非常复杂。甚至是为焊点检测提供正确的照明，也是一项颇具挑战性的任务。然而，获得有关缺陷机制的确切信息，对于在连续反馈中优化焊点检测过程而言，也是很有价值的。

另一个应用是检查纤维增强的黑色橡胶波纹管。为了确保该类组件所需的耐用性，需要验证正确的纤维分布和方向。与传统的机器视觉相比，深度学习算法有望能更好地处理对比度较低的图像。

深度学习视觉检测系统还面临着一项挑战，即再次培训系统的问题。必须要定义被授权重新培训系统的操作员和需要使用的一组图像数据。重新培训后，必须要有一个标准化的验证过程。

共存的解决方案

有一件事是肯定的：电子制动系统的组装并没有变得更容易，并且随着传统的解决方案在某些领域开始达到极限，市场正需要新的机器视觉工具。新的检测任务正开始不断涌现，并且将在未来变得越来越重要。基于深度学习的机器视觉系统将作为一种新工具，填补生产检测工作中一些可预见的空白。

工业互联网

产业智能官 AI-CPS

加入知识星球“产业智能研究院”：先进产业OT（工艺+自动化+机器人+新能源+精益）技术和新一代信息IT技术（云计算+大数据+物联网+区块链+人工智能）深度融合，在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的机器智能认知计算系统；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。