【机器视觉】工业视觉新方向起底、人工智能检测设备实现手机外观缺陷全自动检测、康耐视：当深度学习遇见机器视觉

2019 年 1 月 4 日 产业智能官

工业视觉新方向起底，看未来10年发展大趋势

图片来自“123rf.com.cn”

纵观自动化行业发展，机器视觉随着技术的革新及行业的需求，成为逐渐崛起的新兴行业。随着全球制造中心向中国的转移，中国机器视觉市场已经成为国际厂商关注的焦点。据高工产业机器人研究所（GGII）数据显示，中国机器视觉市场规模预计到2020年将超过120亿元，2017-2020年年均增速将达15%以上。

随着我国配套基础建设的完善，技术、资金的积累，各行各业对采用机器视觉技术的工业自动化、智能化需求开始广泛出现。国内有关院校、研究所和企业近两年在机器视觉技术领域也进行了积极探索和尝试，逐步开始了在工业领域的应用布局。

工业视觉发展现状

机器视觉是指通过摄取图像模拟人的视觉功能，并提取信息，加以处理，最终用于检测、测量、判断和控制。目前在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。诸如电路板印刷、电子封装、SMT表面贴装、电子电路焊接等，均需要使用机器视觉系统技术。

一般而言，机器视觉产业链主要包括上游的零部件级市场、中游的系统集成/整机装备市场和下游的应用市场。其中，上游零部件市场主要包括光源、镜头、工业相机、图像采集卡、图像处理软件等软硬件提供商；中游主要有集成和整机设备提供商；随着各类技术的不断完善，机器视觉下游应用领域也不断拓宽，从最开始主要用于电子装配检测，已发展到在识别、质量检测、尺寸测量和机械手定位等越来越广泛的工业应用领域。

电子制造行业是我国最早应用工业视觉的领域，同时也是目前最大的应用领域，主要集中在精密定位和检测上。汽车行业是目前工业视觉第二大应用行业，主要用在面板印刷质量检测、字符检测、精密测量、工件表面缺陷检测、自有曲面检测等。

目前机器视觉产品终端市场 2/3 为电子制造、汽车制造和市政交通行业所占据，但从未来发展前景来看， 印刷包装、食品材料、医药、烟草 等行业自动化水平会进一步提升，对机器视觉产品的需求也将持续大幅增长。

工业视觉新方向

根据中国机器视觉产业联盟调查统计，现在已进入中国的国际机器视觉品牌近200多家，中国自有的机器视觉品牌已有100多家，专业的机器视觉系统集成商也有100多家。这些企业主要分布在珠三角、长三角及环渤海地区，涵盖从光源、工业相机、工业镜头、图像采集卡以及智能相机等所有机器视觉产业链产品。

据不完全统计，仅从2017年到2018年上半年，就有将近20起机器视觉企业融资事件。在资本助推下，中国的机器视觉市场加速发酵，已经形成了“百家争鸣”的态势。亿欧盘点了部分工业视觉企业供业内人士参考，如下表所示：

从目前的情况来看，机器视觉在工业领域的应用主要集中在产品检测、无序分拣、上下料、拆垛码垛、涂胶等工艺段。其中，在产品检测领域，聚集了包括高视科技、三固科技、精锐视觉等企业；在分拣领域，梅卡曼德、埃尔森、熵智科技、阿丘科技等企业各有优势。

但是，一直以来工业自动化中的所用的“眼”，所采用的都是2D视觉。2D检测是一种根据灰度或彩色图像中对比度的特征提供结果的技术，主要的应用场景有条码和字符阅读、标签检查和验证、基本的位置验证、特征存在和二维尺寸验证、表面标记检测等。 在过去的30年里，2D检测技术在我国自动化和产品质量控制过程中，发展得较为成熟，行业格局基本相对稳定，新公司入局的机会并不多。

然而，国内计算机3D识别技术的进步，以及国外3D视觉产品的高价位，给国产3D视觉企业带来了机会。最近两年新成立了一批国产3D视觉供应商，多家企业也已经推出了面向3D视觉分拣和检测的产品化方案。目前，国内的3D视觉厂商总体还处于产品实际应用测试和应用场景开发阶段，对于企业而言是一个不错的入局赛道。

同时，AI技术的引入，解决了过去机器视觉难以处理的缺陷检测问题，释放了一波新的市场机会。越来越多的行业检测装备生产商，也开始在其设备中引入AI技术。伴随着通用AI检测软件的价格降低，相信越来越多的集成商将推动AI视觉检测向更宽广的行业应用。

工业视觉行业面临的挑战

总体而言，中国工业视觉市场起步较晚，行业集中度较高，整个中国的工业视觉市场相较成熟的自动化产品应用水平偏低，真正的高端应用还很少，市场远未饱和。

目前国内工业视觉整个行业普遍面临的挑战主要有几点：

一是国内企业做集成代理的多，没有一家能做出一个机器视觉系统所需的东西。工业视觉产业链大体可以分为元器件厂商、系统开发厂商、二次开发厂商和产品代理商。高水平元器件主要被国外公司掌控，国内机器视觉企业目前主要为国外产品代理商和系统二次开发商，我国真正的专业底层开发商和高水平元器件厂商较少；

二是算法和软件问题。工业视觉上的算法发展远远没有硬件发展的快，对应软件的使用存在易用性差，使用门槛高等问题；

三是工业视觉的应用需要结合实际选择配套的专用硬件和软件，因此需要布局新的机器视觉系统的企业在成本和时间上花费很大，这也为机器视觉技术在中小企业的铺开造成了困难。

此外，我国 3C 产能虽居世界首位，但在产业链上主要集中在中下游环节，以代工组装为主，工业视觉渗透率还很低。另一方面，带有机器视觉属性的机器人出货量低，导致上游企业能开展的业务也比较少。由此看来，国内工业视觉市场的爆发还需要经过一段时间的蛰伏期。

来源：亿欧网

人工智能检测设备实现手机外观缺陷全自动检测

手机外观缺陷检测一直是业界的难题，需要检测的缺陷种类繁多且变化多端，主要缺陷包括手机外壳上出现的污点、划痕、边缘缺失、裂纹、水迹水印、气泡、手指纹、异物、油墨、异色区分等问题。

目前，手机整机外观全检基本上处于全人工肉眼检测的状态。由于手机整机的精密工业检测需求，使得传统机器视觉系统难以通过编程来解决以上这些缺陷检测问题。手机整机外观检测涉及曲面以及复杂纹理图像中细微划痕的检测需求，只能通过人工肉眼二次复检来完成，进而增加了额外成本。

人工智能手机整机外观全检设备

数优推出的基于深度学习算法的AI缺陷检测颠覆性产品——人工智能手机整机外观全检设备，经过一年的在线运行与验证，已经完全达到了客户工业4.0智能生产车间的技术指标要求，这标志着困扰行业多年的手机整机外观全检难题终于被攻克。

数优的人工智能手机整机外观全检设备，实现了光电、机械、人工智能深度学习算法等领域的系统整合。其检测技术大量结合核心人工智能深度学习算法、光学原理、图像处理、运动控制及精密机械等技术，利用光学方式采集图像以获得产品的表面状态，以人工智能算法、图像处理技术来检出产品缺陷或图案异常等，具有高速度、高精度、高稳定性等特性，不论是在生产的制程中进行监测或进行精密品质管理，或是在高科技产品的制造与检验作业中，这款人工智能设备都能发挥重要作用。

核心技术介绍

数优最新升级的人工智能算法软件SuaKIT2.0，重新定义了AI缺陷检测。新技术的研发使得缺陷检测更精准、更高效，这次技术升级带来了以下技术优势：

1、能够轻松应对频繁更换检测产品的情况，无需重新建立神经网络；

2、单一图片数据也可以轻松建立神经网络；

3、可视化调试，打开了“黑匣子”，提高检测的准确度；

4、独有的自动标记功能，极大地降低了人工标记的时间；

5、新旧产品更替可以平稳过度，零对接时间；

6、利用GPU及算法优化提高检测速度，可以实现高速产线的实时检测（最高速度超过10m/s）

相比于传统机器视觉检测，数优的核心人工智能深度学习算法具有以下几大优势：第一，解决了传统视觉无法处理的完全无规律的复杂图像问题；第二，解决了传统机器视觉由于抗干扰能力差而造成的漏检、误检率高的问题；第三，解决了传统视觉中未出现过的缺陷无法识别、需要连续不断的算法补丁的问题；第四，解决了传统视觉项目周期普遍很长、导致验证速度慢的问题；第五，解决了传统视觉对硬件环境依赖比较高的问题。

（1）继续训练

图1：继续训练。

通过继续训练缩短训练时间，利用之前训练的神经网络，客户可以最小化同一行业中新产品的训练时间和训练图像的数量。

（2）边界数据

图2：边界数据。

向用户展示介于正常和缺陷之间的边界数据，抽取出会影响到模型性能的图片，经过分析之后可以非常容易地提高模型的性能。

（3）图像比较

图3：图像比较。

重点学习两幅图片之间的差距，即使改变了光学条件，也能尽量减少费用并检查出缺陷。

（4）多图像分析

图4：多图像分析。

同一产品在不同的光学条件下拍摄时，通过分析图片之间的相互关系以提高检测能力，如把图片打包检测，处理时间可以大大缩短。

（5）可视化纠错

图5：可视化纠错。

可以将深度学习算法分析并分类的过程可视化。此功能可以检测软件是否在按照使用者的意图进行训练。

解决方案

数优的这台人工智能手机整机外观全检设备，结合了数优的核心软件SuaKIT，可实现360°自主检测，并且可以精准检测到手机曲面上的缺陷，不但能准确检测到缺陷的位置、形状，还能自动计算缺陷的长度、面积、数量等各种用户需要得到的信息，并且可以结合数优的用户界面，实时显示出检测结果。

图6：数优人工智能手机整机外观全检设备。

这款设备可以检测手机的上下表面、侧面和边缘，实现手机外观全检。每部手机的检测时间<15s，检测精度可达20μm。

该设备能完全将人工解放出来，达到无人自动化检测，并且可以达到高精确度的客户需求，包含：

污点、划痕、边缘缺失、裂纹、水迹水印、气泡、手指纹、异物、油墨、异色区分检测；
多工艺物料需要在一套算法系统中解决；
检测区域包括表面、背部、侧端、边角等多面检测；
检测准确度达到99.97%以上，检测精度最小达到1Pixel；
具备剔除分类功能，针对缺陷类型可做返工或报废分类；
可以直接兼容到工厂现有产线上。

图7-图10给出了几个检测案例图。

图7：Galaxy S8+背面划痕检测。

图8：Galaxy S8+侧面的污点检测。

图9：手机背面复杂纹理图像中的细微划痕检测。

图10：手机侧面曲面的污点、划痕检测。

小结

数优的视觉检测是基于图像处理进行的，所以理论上只要能采集目标产品的良品图片和不良品图片，就可以用人工智能软件SuaKIT进行学习，建立神经网络进行缺陷检测。

目前，数优的人工智能检测方案已经应用于太阳能板、PCBA、手机零部件、汽车零部件、医疗、X光、机场行李、半导体、焊接、手机镜头、手机芯片、皮革、面料、电容等检测应用中，合作客户包括三星、LG、华为、富士康、现代集团、隆基乐叶等。

文/数优（苏州）人工智能科技有限公司投稿

康耐视：当深度学习遇见机器视觉

中国工控网

2018年7月4日，上海国际汽车制造技术与装备及材料博览会（2018 AMTS展）在上海新国际博览中心盛大开幕。康耐视则踩着行业发展热点，重点展出基于深度学习的工业图像分析软件Cognex ViDi套件和ES-A5000系列面阵扫描3D相机两款颇为吸睛的新产品。

作为全球领先的机器视觉和工业读码公司，康耐视在工业机器视觉和图像读码技术领域拥有超过36年的丰富经验。康耐视产品通过消除缺陷、验证装配，以及跟踪生产流程各个阶段的信息，来帮助客户提高其生产质量和性能。而基于深度学习的工业图像分析软件Cognex ViDi套件的推出，对康耐视而言，具有里程碑意义。

何以言此？

从一个月到三天？！

作为一个靠谱的产品供应商，康耐视不光注重创新，还注重新产品的稳定性、可靠性与优越性，在新品推出前必会进行大量测试与实验， ViDi套件也不例外。

基于深度学习的工业图像分析软件 ViDi套件优势何在？康耐视华东区技术经理刘玉岭通过实际应用测试案例予以举例，这是电子行业某客户在零部件外观检测需求。

（康耐视华东区技术经理刘玉岭和Cognex ViDi）

“ViDi是对零部件的缺陷检测构建客制化网络模型，使用传统的视觉工具分析，大约花了一个月时间满足客户的所有需求，其难度在于客制化产品的非标属性，需要采集的样本庞大，且使用的是传统的基于数学算法的视觉工具。”刘玉岭说，而ViDi仅用了三天时间就达到了客户要求，其优势在于它采用了一套最先进的深度学习算法。

通过将人工智能（AI）与VisionPro和Cognex Designer软件结合在一起，康耐视ViDi套件能够解决对于传统机器视觉系统而言过于困难、检测不可靠的复杂应用。对于迈向智能制造的用户而言，柔性生产也有相配套的视觉检测工具可以选择。同时，客户可根据实际需要，在同一台电脑上运行ViDi、VisionPro和 Designer三款软件。

这种机器学习算法可以容忍偏差和不可预知的缺陷，甚至能击败最好的质量检验员，非常适用于：

● 缺陷探测

● 纹理和材料分类

● 装配验证和变形零件定位

● 字符读取，包括畸变的打印

Cognex ViDi 3.1版本登陆中国

据刘玉岭介绍，今年3月， ViDi套件首次登陆中国，目前为3.1版本。这款套件此前已在欧美市场积累了大量成功应用。目前， ViDi套件可与康耐视CIC系列相机无缝连接。

Cognex ViDi套件拥有四种不同工具：

● 定位：特征定位和识别

ViDi 蓝色-定位工具可通过从注释图像中学习，找到复杂的特征和对象。自学算法可以找到零件、计数托盘上的半透明玻璃医用药瓶，并对试剂盒和包装进行质量控制检查。

● 检查：分割和缺陷

ViDi 红色-检查工具只需通过了解目标区域的各种外观，即可分割缺陷或其他感兴趣的区域。无论是装饰品表面的划痕、不完整或不正确的装配件，还是织物上的纺织问题，红色工具都能够通过学习物体的正常外观，轻松识别所有这些问题，以及更多包括显著但在公差范围以内的变化。

ViDi 绿色-分类工具根据带标签的图像的集合分离不同的类。通过对可接受的公差进行培训，绿色工具根据其包装识别产品、对焊缝质量进行分类并分离可接受或不可接受的异常情况。培训绿色-分类工具，只需提供标记不同类别的图像集便可。

● 读取：文本和字符

ViDi 蓝色-读取工具可使用光学字符识别(OCR)解码严重变形、倾斜和蚀刻不良的代码。预培训字体库可识别大多数文本，无需额外的编程或字体培训即可快速轻松地实施。这款工具可以重新培训，以适应特定的OCR应用要求，且无需视觉专业知识。

来张直观的对比图：

“ ViDi套件的出色性体现在两个方面：缺陷检测漏检率可以做到100%，误检率在98-99%。”刘玉岭说，目前，这款产品主要应用于汽车和电子行业，同时在制药、包装、食品等领域亦有应用。康耐视在全国拥有30多个应用工程师团队、50多家代理商，能够为客户项目提供技术及服务支持。

3D相机又添一强将

康耐视展台另一款新品是今年4月推出的ES-A5000系列面阵扫描3D相机。它ES-A5000系列利用双目成像和结构光原理，可以引导机械手对杂乱无章的物品进行挑拣，具有大视野、高速度、易于集成等特点，主要应用于汽车、电子、物流等行业。

优势体现在

● 范围宽广的工作距离和视场

支持56 x 38 mm到1490 x 1090 mm的视场范围。这使该相机能够处理广泛的元件和测量，以执行线上检测和计量、实时物料搬运和物流以及定位和检测应用，帮助您实现工厂自动化。

● 更快的处理速度和更短的周期时间

能够在元件保持固定不动时，采集高度精确的3D图像。专利的结构化照明技术使该相机能够实现10 Hz的图像采集速率和5μm的测量精度，速度比条纹投影技术快10倍，从而可以实现更短的周期时间和更高的产量。

● 与康耐视VisionPro软件轻松集成

ES-A5000配备康耐视VisionPro 3D工具库，可用于物体定位、测量和检验。该面阵扫描相机可通过独立的采集集成套件(AIK)界面与康耐视VisionPro软件集成，轻松与康耐视视觉控制器和配件搭配使用。（文/gongkong张丽莹）

机器视觉应用完整解决方案的开发流程

第一步是确定要求并确定是否可行

机器视觉一词可以想象是具有一组眼睛的计算机进行检测或检验行为。为了开发机器视觉应用的完整解决方案，视觉工程师执行一系列通常分为五个类别的任务：计划，设计，构建，集成和验证。

计划

对于许多视觉工程师来说，任何解决方案的第一步是确定每次检查的要求并确定是否可能。需要考虑几个因素，如：

•正在检查什么

•所需检查次数

•检查速度

•机械设计限制

•性能要求

•时间和成本

规划阶段进入设计阶段进行验证。为了确保要求可以实现，原型完成。如果视觉工程师认为检查是可以实现的，则可能不需要原型设计。然而，验证总是有益的，因为随后在解决方案中的更改将影响时间和成本。

方案设计

根据检查要求，为每个视觉应用程序创建和测试初始视觉设计。可以有几个视觉站，都有不同的光学设置。在设计视觉站时，每个摄像机，镜头和光线都需要考虑几个因素。

•相机规格

•相机数量

•相机类型

•单色或彩色

•解析度

•帧速率

•通讯协议

•曝光/快门速度

•获得

•镜头规格

•镜头类型

•焦距

•工作距离

•间隔

•视野

•过滤

•光圈

•灯光规格

•灯数

•灯光类型

•尺寸

•颜色

•距离零件

•强度

一旦确定了一些因素，就设置了一个视觉设计原型来捕获样本部分的图像。必须通过在图像中具有适当的对比度来通过软件来检测主要特征。该过程涉及调整光学设备。

图像由通常由分辨率定义的像素阵列组成。机器视觉软件使用这些像素，以及预定的算法来定义图像中的零件的某些特征。它遵循与面部识别软件相同的概念。该软件搜索图像中的某些像素排列以识别脸部特征。例如，眼睛周围的边缘会有较暗的像素，以及眼睛中心的暗像素。该软件使用算法分析特征，并识别一张脸。类似地，机器视觉软件遵循相同的概念。这些算法由视觉工程师使用机器视觉软件开发。

也可能存在某些机械限制，这将需要额外的光学设备，例如镜子。还可能存在需要改变设计的机械限制。例如，由于围绕光学元件的自动化中的一些工具，工作距离可能需要在300mm和320mm之间。镜头需要更换的机会以及延长管的添加。

如果图像不符合要求，请进行故障排除。更改各种参数以允许更合适的图像。照明可能需要改变，或者可能需要添加偏光片。原型设计允许视觉工程师验证视觉设计以及创建它们。

常规机器视觉摄像机通常需要视觉控制器。如果使用智能相机，则不需要外部视觉控制器。视觉控制器是用于与光学设备进行通信的专用单元，例如照相机和灯。视觉控制器应具备满足检测要求的能力。这意味着它必须能够处理与用于检查的设备以及所需的其他I / O协议的通信。

在这个阶段，应该清楚视力检查的要求是否可以实现。软件应该能够检测到处理检查所需的功能。为了验证软件能够检测边缘，请使用在检查期间将使用的几个工具（即边缘定位工具）来确保软件可以检测某些边缘。试图改变设计，这可能会增加解决方案的成本。在现阶段确保对视觉设计的信心。

系统开发

机器视觉软件可以有各种工具来帮助分析部件中的功能。构建代码之前首先要做的是使用示例图像来规划代码的构建方式。这也将取决于将要使用的机器视觉软件。使用已设计的设置，在此阶段中抓取好的和坏的零件的几个图像。

不同的软件可以有不同的工具集。某些软件可能无法跟上自动化的周期时间。如果检查需要快速循环时间，则必须在该时间内完成全面检查。所有这些都回到了检查要求，以决定使用哪种软件。

根据检查的要求，构建代码时需要考虑几个因素。一些例子包括：

•每部照相机需要拍摄多张图像吗？

•需要检查的功能有哪些？

•光需要频闪多少？

•你想分析的部分是什么？

•需要使用哪些工具进行检查？（边缘工具，“blob”工具，校准等）

•校准如何进行？

•是否有与软件通信的东西？

•环境照明如何发挥作用？

•如果检查涉及到光，此光线何时触发？在整个检查过程中是否仍然存在？有频闪吗如果需要使用相机触发灯，则需要使用软件来计算。如果有一个频闪单元涉及，该单元频闪多长？

需要在软件中执行一系列工具以进行检查。工具也需要相应放置，以确保软件只检查需要检查的功能。使用这些工具需要有一定的逻辑。例如，如果软件检测到缺陷，则该部分是失败的，输出错误代码并显示结果。

该信息需要发送到与自动化一起使用的任何外部控制器。如果零件是通过或失败，它将允许机器知道如何处理零件。通过这些通信，还需要I / O功能与自动化的其余部分进行通信。

通过沟通，还需要一个用户界面（UI），为用户提供一个易于理解的界面。这意味着确保所有结果都容易可见，操作员可以轻松使用任何其他功能。操作员也应该易于理解错误代码。

对于精确测量，需要有一个校准步骤，使软件能够从图像中测量特征。一种方法是使用校准网格。校准网格的图像将从视觉站取出，以允许校准检查。大多数机器视觉软件都将有一个工具。该工具可以选择使用校准网格，并且会询问该网格的参数。

整合

集成阶段是所有光学设备与其他自动化系统集成在一起的地方。这就是一切都在一起的一个整体。

在集成阶段要做的第一件事是确保将所有硬件配置并安装到自动化组件上。根据设计阶段的设计规格调整每个视觉站。确保所有通信在所有设备之间运行。

使用前面开发的校准步骤，校准光学等系统设备。

工业互联网

产业智能官 AI-CPS

加入知识星球“产业智能研究院”：先进产业OT（工艺+自动化+机器人+新能源+精益）技术和新一代信息IT技术（云计算+大数据+物联网+区块链+人工智能）深度融合，在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的机器智能认知计算系统；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。