【学会通讯】CCIG 2022演讲实录：赖剑煌：柔性视觉检测技术及其工业应用

2022 年 10 月 5 日 中国图象图形学学会CSIG

一、前言介绍

首先，我们了解一下柔性视觉检测的背景情况。目前在工业外观质量检测方面，3C、锂电池、面板、太阳能和钢铁等行业客户有大量需求，而我们主要靠传统方法检测难以准确高效地识别出缺陷产品，不能满足客户需求。虽然已经有深度学习的方法用于辅助识别，但总的来说应用不够。同时，产品生产质检成本高，质量不稳定也是一大问题。由于检测是劳动密集型工作，人员需求量较大，但是新入职人员需要经过三个月的培训，周期较长；另外，由于检测对人眼需求较大，许多质检员无法长时间进行相关工作，人员流动率较高。基于以上情况，行业内将传统视觉和深度学习以及自动化技术相结合，从而降低质检成本，提高质检优良率，方便企业弹性拓展业务。

第二，在国家政策方面，国家鼓励用机器辅助或代替人工，解决制造业外观检测自动化的瓶颈问题。智能制造的相关政策有《中国制造 2025》等，同时各个省也都有智能制造发展规划。在人工智能政策方面，国家已出台了《中国新一代人工智能科技产业发展报告（2022）》等政策，在互联网方面，国家已发布了中国“互联网 +”战略。这些政策都促进了柔性检测的发展。

我们在此梳理了近三年国家相继出台的多项政策，这些政策大力推进人工智能技术研发突破，推动工业领域企业智能化转型进程。其中，《国家新一代人工智能标准体系建设指南》指出，要加强人工智能领域标准化顶层设计，推动人工智能产业技术研发和标准制定，促进产业健康可持续发展，到2023 年初步建立人工智能标准体系。《“十四五” 智能制造发展规划》为智能制造提出“两步走”战略。第一步，到 2025 年，规模以上制造企业大部分实现数字化、网络化，重点行业骨干企业初步实现智能化；第二步，到 2035 年，规模以上制造企业全面普及数字化、网络化，重点行业骨干企业基本实现智能化。现阶段重点推动的是数字化和网络化的工作，打通信息流。其他有关政策，《智能制造试点示范行动实施方案》《工业互联网创新发展行动计划（2021-2023 年）》《广东省制造业数字化转型实施方案（2021—2025 年）》在此不做详细介绍。

第三，我国工业检测处于劳动密集型发展阶段，急需实现智能检测系统应用落地。从图 1 可以看出 2016 到 2020 年间工业智能检测市场规模年复合增长率一直在增高。由于之前体量较小，增长率达到了 31%左右。到了 2020 年之后，发展受到了制约，主要原因是工业生产资料和最终产品的差异性较大，智能检测系统难以实现快速落地，导致中国智能检测行业发展受限。从 2020 年到 2025 年，中国智能检测行业市场规模增长速度预计放缓。2025 年，中国智能检测行业市场规模预计将达到5 745.2 亿元，同比增长 10%。不论如何，2025 年，预计质检行业的市场规模将达到 5 000 亿左右，市场规模较大。互联网公司已经在抢先布局，包括阿里云的 ET 工业大脑、腾讯云的工业超级大脑、百度云 ABC 战略微亿制造、华为云的工业制造体和阿里巴巴的“犀牛智造”平台等等，都在抢占先机。

图 1 工业领域智能检测行业市场空间分析

第四，在基于深度学习的表面缺陷检测方面，大体上，从 2015 年开始将深度学习逐步应用到工业视觉检测领域。早期的算法还是传统的卷积神经网络、稀疏模型、相似度排序的方法。后面出现新的方法，包括生成对抗网络、自编码度量学习以及教师-学生网络等无监督、轻量级的方法。我们在今年也做了两项工作，一项工作是轻量级的工作：轴向分解的自注意力机制网络，即线型复杂度的网络工作，取得了较好的效果。另外一项工作是自适应特征重构的方法，该方法可使缺陷的刻画更为鲁棒。我们以 MVTec AD 数据集举例说明现在的领域研究进展。该数据库为表面异常检测数据库，含有5000 多张不同对象和纹理类别的高分辨率彩色图像。从 2017 年开始不断有新的方法对缺陷检测方法进行改进，这些方法使用的技术包括生成对抗网络、自编码器、变分模型等。通过计算检测AUROC 的面积和分割 AUROC 的面积，我们可以看出，检测效果越来越好，代表着技术在不断进步。

表面缺陷检测任务方法大致分为五类：1）基于单分类方法，2）基于自监督方法，3）基于特征嵌入方法，4）基于图像重构方法，和 5）基于生成网络方法。在数据库方面，目前存在较多常用数据集，其应用场景包括重工业：钢铁、轨道、建材；精密制造业：印刷电路板、显示面板、晶圆和汽车电子等；传统制造业：布匹、磁瓦；以及新能源：光伏电池等。完成任务的方法也分有监督方法、无监督方法和弱监督方法等。数据库中图像规模一般为几千张。对于初学者或研究生想跟进这个领域，我们推荐一些来自期刊和会议的综述文章。例如，Image A nomalies: A Review and Synthesis of Detection Methods。该综述回顾了 2018 年之前的图像异常检测方法，分析了背景模型的 5 种结构假设，并比较了 6 种最具代表性的算法。其他文章包括 A Review on Industrial Surface Defect Detection Based on Deep Learning Technology，A Unifying Review of Deep and Shallow A nomaly Detection， Deep Learning for A nomaly Detection: A Review，A Review on Recent A dvances in Vision-based Defect Recognition towards Industrial Intelligence， Surface Defect Detection Methods for Industrial Products: A Review，GAN - based A nomaly Detection: A Review 等，推荐初学者阅读。

二、外观检测与深度学习

计算机视觉外观检测在生产线上的应用案例包括机器人码垛，喷码检测、装箱检测、读码追溯和外观检测等。我们实验室的工作聚焦于产品终端的外观检测。从方法上来说，工业外观检测应用机器学习的方法，对异常样本进行检测，并基于机器学习的方法进行分类。从视觉上来说，它属于图像检测问题，检测出与正常样本不同的异常样本。

工业视觉缺陷异常分为两类，包括污渍、缺失、变形等方面的结构异常和内容、模式、划痕、裂纹等方面的表观异常。很早以前，此方面的研究就已经开展，且已有大量应用成果。传统的计算机视觉方法主要靠边缘定位、斑点分析、模板匹配以及以上方法的组合，其中还用到了颜色直方图、SIFT、HOG、HAAR、LBP 等技术及其结合。传统的方法基本上只能一种方法处理一种产品的一种缺陷，无法通用。比如手机面板的缺陷视觉方法不能应用于其他物品的检测，这是传统方法的缺陷。同时，传统机器视觉方法也存在瓶颈，很难对复杂场景或待检测对象通过既定规则的情况进行量化描述。在深度学习方法出现以后，该问题得到了解决。

从 2021 年开始，深度学习的方法应用到了工业视觉领域，该方法在产品表面检测方面可做到柔性、精准和扁平化。具体来说，1）柔性：适应复杂产品和工艺状况，适合多种类型的缺陷定位和识别。也就是说，它适合小批量、多规格的生产，适合各种各样缺陷的检测和定位；2）精准：准确区分真正的缺陷和产品固有的特征以及环境引起的干扰特征；3）扁平化：深度学习方法的一个特点是同一个算法面对不同的数据训练，可以获得适应数据检测的结果，深度学习将算法设计问题转化为数据标定训练问题，大大降低了使用门槛。

外观检测的任务包括图像分类、目标检测和语义分割。从方法上来说，数据充足时可应用有监督的方法，数据不足时可应用无监督的、半监督的和自监督学习方法。在生产过程中，我们需要进行迁移学习，在一条生产线上得到训练结果迁移到另一条生产线；当出现新产品，即出现新分类，我们可以进行增量学习的工作。

工业检测场景的视觉算法挑战，大致可分为四个方面。首先，小批量多规格的生产产品种类繁多，如何做到泛化推演比较困难。第二，在训练检测方法时，我们可以得到的合格样品很多，但异常样品稀缺，如何在此种情况下做到精准稳定的检测也非常具有挑战性。第三，面对小样本学习的问题，如何在小样本情况下获得较高精度的检测结果，例如 99.5%，并且可重复率小于 10%，是异常困难的。最后，在生产过程中，生产线的高速检测，例如每分钟检测 800 包产品，是非常有难度的任务，所以我们的检测需要应用轻量化的网络设计。

以柔性包装封口白边检测为例。柔性包装白边检测要求误报率不大于 0.5%，漏报率不大于 2%，且速度要达到每分钟 130 包。在此方面我们做了一些工作并布局到了生产线上。对生产线的检测可以反映到屏幕上，在检测到次品时，我们可将它剔除出来并做统计。在生产中存在很多缺陷需要进行检测，比如档位偏移、两边开口等。具体来说，计算机视觉目标检测面临以下四个方面的挑战。

第一个挑战是小样本、数据非平衡问题。我们在一条生产线上进行深度学习训练需要做表面检测的时候，往往缺陷样本很少，大量的样本都是正常样本。同时缺陷种类五花八门，但通常在训练时我们往往无法得到某种缺陷。例如在卫生纸包装上，一开始缺陷只有十几种，然而正常的样本种类非常多，好样本远远多于坏样本，而且不同类别的缺陷数据差异较大。在此方面，我们的解决方案是数据增强和数据重采样。我们首先解决的问题是数据的平衡，需要生成次品样本，比如由光照因素、对比因素、模糊噪声产生的次品样本，同时通过镜像、旋转、人工处理等手段增加数据。对每种缺陷，我们通过 SMOTE 的方法进行重采样，使数据基本上达到平衡。

实际上，在缺陷样本生成工作上已有很多方法，我们也提出了一个实用的方法：集成缺陷样本生成的多任务学习模型。该方法可同时进行表面缺陷的检测和分割。它的特点是集成缺陷样本的生成模块和缺陷区域的检测模块；采用多任务学习方式，利用分割任务辅助检测任务；仅需使用边界框标注，无需使用逐像素标注。具体来说，对于某种缺陷，我们先找出缺陷的边缘纹理，利用边缘纹理寻找它在每一个同一类表面样本上最适合的插入位置，随后将缺陷进行各种变形并插入该位置，合成一个缺陷样本。用此方法与检测算法结合，特别是与多任务的学习方法结合，可以提高该方法的效果。

另一种解决方法是将此问题看作一个好样本建模的问题。因为在生产过程中我们得到的是大量的好样本，缺陷样本是比较少的。利用大量的好样本，通过机器学习我们可以找出好样本分布的空间。基于此思路，我们提出了基于二部图的大规模谱聚类和集成聚类方法，提出了无监督正样本学习的缺陷检测框架。我们利用大量好样品建立好品模型，基于好样本和坏样本在好品模型上的表达特征建立差别准则。只要学习一个好样本的分布模型，就可以用此模型去检测不在此分布上的其他样本，我们把它当做坏样本。此时我们可以不需要缺陷样本，或者只需要很少的缺陷样本就可以发现新类型的缺陷。在此方法中，我们也做了如下的工作。我们发现在生产过程中大量的用来检测的样本输入时位置不对齐，同时由于光照影响，样本颜色也不对齐。如何克服匹配样本不对齐的问题，充分利用好样本去获得坏样本的特征刻画，在此我们提出了一个方法。该方法充分利用好样本获得缺陷样本的鲁棒特征表达。该方法的主要步骤包括：1）使用孪生网络分别提取两路样本的深度特征（可以降低参数量）；2）使用自注意力机制启发的特征重构模块分别重构两路特征；3）融合重构后的特征用于缺陷预测。该方法应用到了自注意力机制去做自适应特征的融合表达，它较直接剪辑的方法能够取得更好的效果。

第二个挑战是缺陷尺度变化广，弱小目标检测难的问题。例如，在大尺度图像下的小缺陷问题，在低质量图像下的弱缺陷问题，同时还存在缺陷类别有限，但每类缺陷的样式众多的问题。对于这些问题我们提出了基于小波引导的“提升-抑制”自注意力模型。此模型主要解决缺陷的区域、边缘不规则，难以挖掘的问题，以及缺陷易与图片中噪声混淆，难以区分的问题。我们做了两步工作，第一步，在提升阶段，利用 Haar 小波刻画边缘特征，引导 Transformer 模型增强高频感知能力，使边缘更加清晰。第二步，在抑制阶段，将同属于高频成分的噪声特征进行抑制，仅关注缺陷部分。在第一步中，由于感知能力增强，信息中的噪声也被增强，所以第二步，我们通过抑制网络根据缺陷的非一致性和衰减性将缺陷与噪声分开。

第三个挑战是面向跨场景、多 SKU 的模型快速迁移问题。当训练好模型，如何快速应用于其他生产线是需要解决的问题。该问题实际上是域自适应的问题，已经存在一些解决方法。我们主要应用基于正则化约束的深度域自适应方法以及基于生成对抗的深度域自适应方法。我们的方法，是用比较多的样本训练模型，再将此样本与其他颜色样本混合训练一个较大的模型，通过不同颜色的样本微调就可以做到较快的迁移。

第四个挑战是推理速度需要跟上生产线节拍，即在生产线上如何对高分辨率图像进行快速推理的问题。在实际生产中，往往有玻璃、纸张等分辨率高的样本，且要求快节奏生产，所以解决此问题需要轻量化算法，我们提出了可解耦卷积方法。同时，我们也提出了轴向分解的自注意力模型的方法。在该方法中，我们将自注意力机制所要计算的矩阵中的点积运算变成了纵轴横轴的位置感知相似性。将n2的复杂度变成了 n 的线型复杂度。我们还通过教师-学生网络，通过迁移的方法，利用高复杂度指导低复杂度来解决迁移速度问题。

图 2 课题组开发的柔性视觉检测产品和系统及应用

三、落地应用案例

工业质检中的多项难题不仅仅是算法的问题，检测难、对齐难的问题，还包括全检难、成像难的问题，例如高光金属的成像和多点检测的问题。我们的解决方案是打造具备行业可复制价值的系统及设备，开展示范应用（图 2）。我们在 2017 年推出了一个人工智能质检的软件，目前我们已开发了可翻转的外观检测仪，能够提供多面检测。同时我们也研发了灵动外观检测仪。我们面向 3C 外观检测的一体化通用检测平台集成了光学技术：标准化光学模组，可适应 80%的检测需求；运动控制：高速多轴联动插补，精准、柔性控制；以及智能检测：数据驱动的智能学习模式及策略，驱动的后处理有机融合等等。

我们从 2014 年开始，经过八年的更新迭代，开发了灵动外观仪 3.0 产品。该产品的第一个特点是高速多角度检测，完全取代人工目检。在产品的研发过程中，最早我们只是做多个角度的拍照，以及光学镜头的集成及一体化控制。经过迭代到多工位柔性高速外观检测仪，在五轴联动的基础上融合了多种光照的检测，使其可以从几个面进行快速地拍照识别。之后根据需要，我们做到了八轴高速联动的控制。该产品的第二个特点是柔性组合结构光，可适应多种材质及表面，不同的柔性组合照明可检测出不同的缺陷。灵动外观仪的第三个特点是柔性智能算法框架，集成低代码开发平台，省却人工编码的烦恼。工作步骤包括实时取像，缺陷标记，学习训练和测试运行。在软件平台上，我们可以实时录入缺陷，做训练和分析并生成报表。

我们将产品应用到了柔性包装白边检测，可做到误报率小于 0.5%，漏报率小于 10%。我们也将产品用到了摄像头支架外观的检测，可以检测 58 个点位，达到缺陷漏检 0%、过杀率 15%以下的较好的效果。其他应用案例包括光隔离器外观检测，通过偏振技术将缺陷刻画出来；圆形、环形磁体外观检测；汽车连接器外观污点检测；硬质合金棒材端面检测；PCB 板载 LED 灯缺陷检测；手机 Type C 连接器元件缺陷检测；手机中框缺陷检测等，我们的技术都取得了较好的效果。

（本报告根据录音整理）

来源：中国图象图形学学会通讯