【机器视觉】用深度学习推理检测相机外壳上的缺陷、气缸检测、镜面及漫反射的智能3D解决方案、视觉引导的机器人和无人机应用
用深度学习推理检测相机外壳上的缺陷
使用传统的机器视觉检测方法来确定缺陷并非易事，例如发现工业相机外壳上可能存在的缺陷。深度学习技术为此类缺陷检测应用提供了一种有效的方法。
通常，使用传统的机器视觉检测方法来确定缺陷并不是一件容易的事，例如发现工业相机外壳上可能存在的缺陷。然而，深度学习技术却为此类缺陷检测应用提供了一种有效的方法。
为了测试这一点，FLIR Systems公司的工程师们使用颇具成效益的组件建立了一套演示装置，用于测试该系统的可行性和有效性。
该演示包括检查相机的外壳是否有划痕、油漆是否均匀以及是否存在印刷缺陷。为了避免上述缺陷，工业相机制造商必须检查相机外壳，以确保产品外观完美。
很难对传统机器视觉系统进行编程以识别一定范围的潜在缺陷，并且也很难确定哪些潜在的缺陷是可以接受的，哪些潜在的缺陷是不能接受的。即便一个小缺陷可以接受，两个小缺陷还可以接受吗？一个大缺陷和一个小缺陷呢？这种需要主观判断的检测应用，正是深度学习技术可以有效部署的地方。
图1：为了对系统进行测试，FLIR的工程师使用了一台工业相机、一个AAEON单板计算机和Intel Movidius的神经计算棒。
为了测试如何应用深度学习技术来解决这个问题，FLIR的工程师使用了一台160万像素的Blackfly S USB3工业相机以及一台AAEON Up Squared单板计算机，单板机配备Celeron处理器和4GB内存，采用Ubuntu 16.04操作系统；此外还配备了Intel Movidius的神经计算棒（NCS）（见图1）。据Intel报道，神经计算棒于2017年发布，是基于USB的“深度学习推理工具和独立的人工智能加速器，为广泛的边缘主机设备提供专用深度神经网络处理功能”。
神经计算棒采用英特尔Movidius Myriad 2视觉处理单元（VPU）。这是一个片上系统（SoC），配备两个传统的32位RISC处理器内核和12个独特的SHAVE矢量处理内核。这些矢量处理内核可用于加速深度神经网络使用的高分支逻辑。流行的深度学习框架（包括Caffe、TensorFlow、Torch和Theano）可用于为神经计算棒构建和训练神经网络。
选择MobileNet V1作为神经网络，因为它结合了高精度、小尺寸以及优化的移动硬件等优势。FLIR使用TensorFlow框架来构建并训练了一个权重为0.63的网络，MobileNet网络的最大可能权重为1。所选的输入图像大小为224×224。最终产生了一个具有大约3.25亿Mult-Adds和260万个参数的网络。
使用了包含61个已知良好外壳和167个不良外壳的一组小型数据集。通过仔细设计测试环境来获得最大程度的图像一致性，使得图像之间的唯一变化是缺陷。为了消除不同外壳之间的过渡状态的伪结果，增加了第三个“等待”状态。这是通过在该阶段的120幅图像上训练一个“等待”事件来实现的，其中部分相机外壳在框架外，被遮挡或未对准。
训练是在台式PC上进行的，并使用NVIDIA GTX1080图形处理单元（GPU）进行加速。网络经过优化，使用Bazel转换为Movidius图形格式。该工具最初是由Google开发的，可自动构建和测试软件。
当分类速度能达到25fps、并且准确率达到97.3％时，就可以宣布成功了。这比每3~4秒检测10台相机（可以通过手动检查实现）要快得多。
FLIR将Intel Movidius Myriad 2 VPU直接集成到新型Firefly相机（见图2）中，实现了下一步的深度学习。这款相机已经在2018年11月的德国斯图嘉特VISION展上展出。
FLIR能够让用户将经过训练的神经网络直接部署到相机上，并能以“与系统相同的速度和精度”，在边缘进行推理；主系统由单独的相机、主机和神经计算棒构成。最初的型号采用单色158万像素Sony IMX296 CMOS图像传感器，通过USB 3.1 Gen 1接口提供3.45µm的像素尺寸和高达60fps的帧率。推理结果可以通过GPIO输出，也可以作为GenICam块数据输出。
对于具有Myriad 2 VPU和MobileNet特性的机器视觉应用，这台售价299美元的相机可以省去主机系统。FLIR Firefly相机的重量仅为20克，体积不到标准“ice-cube”相机（27mm×27mm×14mm）的一半，能够大大减小嵌入式视觉系统的尺寸和重量。
FLIR Firefly相机在成像和进行推理时消耗的功率为1.5W。对于需要进一步处理或结合推理与传统计算机视觉技术的更复杂的任务，Firefly相机仍然不需单独的神经计算棒。
FLIR表示，Firefly相机允许用户轻松开始深度学习推理。由于使用熟悉的GenICam和USB3协议，用户可以将其插入现有的应用中，并将其作为一个标准的机器视觉相机使用。推理生成的元数据，如对象分类或位置数据，可以作为GPIO信号或GenICam块数据输出。
将机器视觉引入飞机装配细分市场，「神工科技」研发智能制孔机器人
掀开飞机漆面的光鲜外壳，飞机其实是一个由一个个孔、一颗颗紧固件、一根根桁条、一块块金属面板组成的钢铁世界。飞机上的约几百万颗，类型繁多、大小不一的紧固件以保证飞机结构的稳固和连接，而要精准安装这些紧固件即必须先打好那一个个“看不见”的孔。
制孔等装配技术是航空航天大型设备制造装配过程中的关键环节，制孔占飞机装配价值比例已经超过50%，一架ARJ飞机需制孔数量超过200万个，而C919等大型商用客机制孔数300万个以上。
北京神工科技有限公司（以下简称：神工科技）成立于2017年12月，是一家聚焦于航空工业飞机制造及装配细分领域的“智能制孔机器人”及飞机装配系列产品系统研发供应商，其核心特色在于在制孔、涂胶等机器人上引入机器视觉和人工智能算法，使其在机械手臂式机器人柔性化操作过程中大幅降低系统误差，实现精度更高、更易操作、效率更高的智能化工业场景。
板材制孔是个不可逆的过程，对精度要求很高。在制孔工作中，主要有两种方式，一是通过传统人工制孔，二是使用机器人自动化制孔系统。
传统的人工制孔工序中，每4-6个工人一组，需要经历分划线、标定、初孔、扩孔、去毛刺、锪窝、校验等多个工序，耗时长，工人需要在高噪音、高粉尘环境中工作，而且制孔效果受工人主观情绪、状态等影响较大，制孔质量不稳定。不仅如此，人力成本对于制造厂来说都是很大开销，据神工科技调研，平均每个主机厂需要装配制孔工人1000-3000人，一般技术工人工资成本15万/年左右，8级工这样的老师傅更是高价难留，行业已经出现招工难、培养难、留人难的问题。
在自动化制孔系统方面，国外许多公司都有成熟的系统，已经大量应用于波音、空客等飞机的装配制孔。如美国Gemcor公司、EI公司、德国Broetje公司、西班牙的M. Torres公司等。“但是国外设备动辄千万美元以上，持续使用成本高，且在涉密领域，无法使用，在贸易摩擦等背景下，中国航空制造业处处受制于人。关键在于，我们现在能看到的国外产品，并非智能化设备，只是高精度的自动化设备，与神工科技实现的技术路径完全不同”神工科技执行总经理李喆告诉记者。
智能制孔机器人
针对以上情况，神工科自主研发了智能制孔机器人，目前完成SK-RADS-01型的开发（针对铝合金材质）。李喆介绍说，该机器人的价格只有同类型进口设备价格1/5左右，且实现了完全自主可控，知识产权及保密资质；效率方面，在实际应用中，神工科技的机器人只用了2小时就完成了传统人工制孔4人组三天时间完成的工作；精度上， 孔径精度可以做到H6的精度等级，而人工制孔一般只能达到H9（数字越小精度越高），位置精度小于±0.3mm；重复精度小于±0.06mm。
具体来说，智能制孔机器人主要由机器人本体和智能制孔系统两部分组成。 机器臂本体选用市场上通用的工业机械臂，再通过末端执行器，实现行制孔功能。智能系统上，则使用AI机器视觉、激光制孔点法线检测技术、多传感器融合的系统集成技术（包括震动、力控等）等技术实现孔的检测定位，加工基准的自动找正，不同的材料自适应调整、刀具磨损和断刀等异常情况时时监控等功能。
当被问及，国外高端自动化制孔设备与神工科技机器人的区别时，李喆告诉记者，“目前市面上的常见自动化制孔设备，大多是先使用精确固定装置进行面板固定，再利用机械臂加工，通过尖端的机械控制技术进行机械臂姿态动作控制实现精准制孔。而我们则是加入了机器视觉识别和人工智能算法，结合多传感器配合实现高精度快速自动制孔。如此一来整套设备的智能化和灵活性更高更能满足柔性制造的需求。”他也认为国外厂商还将在高端设备垄断地位的利润舒适区中，要将人工智能技术引入到自动化设备当中还需一段时间。
同时，目前市面上还有一些高校与主机厂合作的智能制孔机器人，这些机器人多源自高校课题。据神工科技调研，它们仍存在工业场景落地水平相对较低问题。
在产品落地方面，目前神工科技的产品已通过验证，进入到两家飞机制造厂。每台机器都配有工程师全程跟踪调试，与制造厂工程师和产业工人同吃同住同劳动。
气缸检测： 智能视觉系统确保100%的气缸内涂层检测
机器视觉和深度学习技术相结合，实现了发动机气缸内涂层均匀性的自动化检测。
作为内燃机的主要部件，压铸气缸体是整个发动机结构的支撑，它包含一些镗孔，每个镗孔用于安装其他部件。其中缸体中直径较大的一个镗孔用于安装活塞。当活塞被安装后，其通过连杆将推力传递到曲轴。
在过去，需要在缸体内配置一个气缸衬套来容纳活塞。这会导致发动机更重、镗孔更小。现在，通过部署美国Flame-Spray Industries公司发明的线材等离子电弧喷涂（PTWA）技术，消除了这种复杂的装配过程。
在PTWA过程中，将耐磨涂层喷涂到发动机缸体镗孔的内表面上。这样缸体内就不需要增加气缸衬套，从而让发动机的镗孔更大，这样就可以使用更大的进气阀，使发动机动力更强。
工业自动化专家和系统集成公司AIS Technologies Group的首席视觉专家Ahmad Shawky表示，“在涂覆了这种铁质耐磨涂层后，必须检查气缸镗孔，以确保PTWA过程使得镗孔内壁被均匀涂覆。”
由于PTWA过程可能会在缸体内壁残留涂层材料的沉积物（或称为“喷涂点”），因此必须对喷涂结果进行检测，以确保喷涂点的数量、宽度、长度和位置都在制造商设定的公差范围内。
在引入和部署机器视觉系统来完成这项任务之前，需要从生产线上取出单体发动机缸体（可能每种产品需要取一个），然后将缸体切开，进而检查缸体镗孔内壁是否存在不合格的喷涂点。
“毫无疑问，”Shawky解释道，“这是一项费时费力的工作，并且不能保证对每个发动机缸体进行检测。”
成像系统
为了解决这个问题，Shawky和他的同事为这项任务开发了一套自动化检测系统，同时还提供了操作员可轻松掌握的图形化用户界面和检测结果。
在使用PTWA过程对发动机缸体进行涂层后，发动机缸体沿着传送带进入到成像站。由于发动机缸体在传送带上处于移动状态，因此必须将缸体从传送带上取下、并使其保持在一个稳定的位置，以方便机器视觉系统对缸体进行成像。为了将每个缸体从传送带上取出，系统使用了由伺服电机驱动的多个线性滑块来抓取缸体，其中伺服电机由PLC控制。
当发动机缸体被移动到一个稳定的位置后，使用机器视觉系统检测发动机缸体的内壁。该成像系统可以在两种不同的配置下工作。第一种配置方法是使用定制的二次光学元件对缸体内壁进行检测（见图1）。
图1：AIS Technologies Group提供的气缸涂层检测系统，在配置中采用了一个定制的二次光学元件，对气缸的喷涂内壁进行成像。
第二种配置方法基于Opto Engineering公司开发的“孔检测”光学镜头，该透镜专门用于对物体的垂直壁进行成像。
系统的照明使用的是CCS America公司的红光LED环形漫射灯，安装在透镜系统上方大约4英寸处，这种直接/镜面照明用于显示高反射缸体表面上的任何变形。随着透镜系统通过线性滑块导引至孔内，LED光源则通过漫反射和直射两种方式照亮该气缸孔。不同于只能对平面视场进行成像的所谓的“针孔镜头”，专用于孔洞检测的光学镜头，能够对孔的底部和垂直内壁成像（见图2）。
图2：不同于只能对平面视场进行成像的所谓的“针孔镜头”，专用于孔洞检测的光学镜头，能够对孔的底部和垂直内壁成像。从图中可以看到镜头的工作原理（上图），以及AIS Technologies Group提供的气缸涂层检测系统的输出结果（下图）。
孔图像
为了捕获到深度约为135mm的缸体孔内的图像，镜头系统以15mm为增量单位、分九次分段移动来捕获缸体内表面的图像。
Shawky 表示，“尽管镜头系统可以捕获到大约50~90mm圆周宽度的图像，但是采用15mm分段增量法，可确保图像是在最佳焦点位置被捕获，并且图像的像素将保持一致的间距。”
随后，来自镜头系统的图像由Basler公司的piA2400-17gc Pilot彩色工业相机进行数字化处理；该相机基于Sony 500万像素ICX625 CCD图像传感器，帧率为17fps。捕获的图像随即通过相机的GigE接口传输到系统主机，并在那里进行图像分析。为了分析缸体内表面上涂层材料的沉积状况，AIS Technologies Group尝试了许多不同的方法。
“起初，人们认为康耐视公司提供的VisionPro Blob工具包中所包含的blob分析工具，可用于确定图像中像素是否互连，从而衡量斑点的大小，以及任何不合格的涂层材料沉积点的大小和位置。”Shawky分析道，“然而，尽管可以将VisionPro Blob工具包配置为能在指定的灰度范围内查找斑点、并根据给定的标准对其进行过滤，但是很难确定是否存在一个“喷涂斑点”，或者该喷涂斑点是否与不合格的沉积物有关。”
深度学习
幸运的是，2017年康耐视收购了瑞士ViDi Systems公司，这是一家基于深度学习的工业图像分析软件开发商。现在ViDi（重命名为Cognex VisionPro ViDi）软件中的ViDi Red工具可用于监控模式，用于图像被首次展开并拼接起来后，执行异常检测、缺陷检测以及图像分割任务（见图3）。
图3：将图像展开并拼接在一起后，康耐视的VisionPro ViDi工具用于监控模式，以执行异常检测、缺陷检测和图像分割任务。在这种监控模式下，软件不怎么依赖于零部件的配置、类型或图像捕获时的条件。
在这种监控模式下，深度学习软件较少依赖于零部件的配置或类型，或是图像捕获时的条件。然而，处于监控模式下的VisionPro ViDi软件，形成了不同类型缺陷的显式模型，这需要合格样本和不良样本，并用样本对其进行训练。
为了实现这一目标，AIS Technologies Group与其汽车客户展开密切合作，就可能存在的不同喷涂点对系统进行训练。然后使用blob工具对这些喷涂点的类型、大小、位置和距离进行分类。例如，可能存在许多小的喷涂点或少量大的喷涂点，所有的这些喷涂点都被系统识别、并存储在数据库中。
对这些喷涂点进行分类后，发动机缸体被放回到传送带上，然后移至第二个工位；在第二个工位，缸体被重新处理，以确保气缸孔的内表面光滑。之后，在第二个类似的成像站对气缸孔再次成像，并检查孔隙率。
Shawky介绍说：“这样做的目的，就是将喷涂点沉积物与最终加工过程中可能产生的空隙联系起来。”
通过这种方法，可以判断出该孔隙率是由喷涂点的数量产生的，还是由最终的加工工艺产生的。例如，在PTWA过程后进行初始检查，如果孔隙率与检查中所发现的喷涂点的位置和尺寸大小存在直接关联性，则可以将其标记出来，并将其交给操作员调整PTWA过程。或者，如果孔隙率与最终加工过程有关，也可以被标记，并且调整孔加工过程，使其更加有效。
缸体分类
完成两轮检测后，每个发动机缸体被分类为合格或不合格。如果不合格，则通过线性滑块将其移走并放置到一个转盘上，随后通过转盘将其从生产线中移除，随后可以根据需要对其进行重新加工。检测合格的气缸继续被放置到传送带上，进行活塞、气缸盖的组装以及最后的装配工作。
Shawky介绍说，AIS Technologies Group开发的机器视觉检测系统，已经在被一些主流汽车制造商使用。这套价格35万美元的检测系统，能够确保100%检查每个发动机缸体，从而避免了手动切割缸体样品这个耗时的过程，以确定涂层和最终加工过程的有效性。
专用于扫描玻璃等镜面及漫反射的智能3D解决方案
玻璃外壳正迅速成为手机、平板电脑和手表等移动设备设计的标准，这主要是因为，随着5G通讯的发展，手机等终端通信设备越来越倾向于采用5G连接，而使用金属外壳会干扰信号强度。
由于材料的镜面属性及传统激光测量技术的局限性等因素，玻璃、亮面金属和塑料的质量控制检测是一大难点。那如何应对这一挑战，LMI Technologies公司推出了智能3D激光轮廓传感器 - Gocator® 2512，为高镜面性材料的质量检测提供了解决方案。
应用
在消费电子（CE）行业中，智能3D激光传感器同时扫描手机外框及玻璃边缘，生成高分辨3D数据。该数据被用来提取边缘数据和间隙特征，应用丰富的内置测量工具检测间隙、面差和段差等。
要求
这类应用要求高分辨率以准确地识别关键公差，以及测量可重复性Z方向达到0.02mm，以确保检测大量组件时的一致性。
这类应用对智能传感器还有其他严格要求，包括：对目标物角度的低灵敏度；能够消除目标物表面边缘处因激光散射带来的噪音；精确测量不同的表面颜色和表面类型（例如涂层，光泽，透明）；此外，扫描和检测速度必须大于5kHz，以便在持续的生产过程中不断工作。
挑战
标准的线轮廓传感器对激光的角度十分敏感，因此无法对镜表生成可靠的数据。坐标测量机（CMM）使用的探头无法测量移动设备的玻璃和框架间的狭窄间隙。共聚焦技术相对太大且价格昂贵，其视野和测量范围也有限。
智能3D解决方案 - Gocator® 2512
图1：Gocator® 2512扫描手机玻璃壳的边缘，检测重要配件的公差，例如面差和段差。
Gocator® 2512是一款智能3D激光轮廓传感器，优化玻璃和其他镜面扫描检测。该传感器采用了精密的设计，避免了标准的线/点激光轮廓传感器、CMM以及共聚焦扫描仪的局限性。
针对玻璃和其他镜面扫描，Gocator® 2512提供卓越的3D数据，并以高达10kHz的速度进行全面检测（集扫描、测量和控制于一体，内置丰富的测量算法）。此外，采用专业的激光投影技术，Gocator® 2512智能传感器适应不同角度目标物检测，其对更广泛的镜面材料及颜色检测方面也同样拥有卓越的性能（例如防眩光、涂层/未涂层、低/高对比度、透明和带光泽的材质）。
图2：Gocator® 2512可以同时扫描镜面和漫反射材料。
3D智能优势
由于2D视觉无法生成形状数据的一些局限性，这使得2D技术无法应用于手机玻璃组件的检测，而3D检测可提供和物体形状相关的空间几何尺寸正是关键所在。Gocator® 2512一体式智能传感器能轻松给出3D信息，使用户能够精确地识别和检测配件（例如玻璃和框架）之间的边缘和间隙，实现卓越扫描检测功能。
更多关于LMI Technologies的产品，请浏览官网www.lmi3D.com/cn或者在网站上注册下载玻璃扫描手册。
视觉引导的机器人： 3D机器视觉引导机器人系统用于电子商务的物流执行
交钥匙型订单拣货工业机器人单元，是DHL公司针对物流应用的首个全自动系统。
在许多传统的电子商务履行仓库中，卸垛、拣货和订单履行功能都是手动执行的。为了实现该过程的自动化，同时节省时间和金钱，德国DHL公司位于荷兰Beringe的仓库获得了荷兰机器人机器视觉专家Robomotive公司的帮助。DHL公司负责一家全球化墨水和碳粉盒制造商的订单履行和运输。
为了实现从托盘和流动架到传送带的机器人3D拾取和放置包装箱的目标，Robomotive公司开发了一款专用的物体和特征识别软件，该软件与挪威Zivid公司的One 3D机器视觉相机配对使用。
图1：Robomotive公司的系统使用安装在机器人上的Zivid 3D相机用于引导机器人的动作，并使用真空夹持器将包装盒移动到传送带上。
“多年来，我已经测试了很多相机，从游戏相机到工业相机，并且也使用了很久3D激光三角测量传感器。”Robomotive公司首席执行官Michael Vermeer解释说，“但是那些传感器的成本要高出两到三倍，并且需要大量的校准工作。我们在VISION 2016展会上接触到了Zivid公司，在对其相机进行测试后，我们立刻就喜欢上了它。因为它需要的校准工作非常少，并且能够高速拍摄高分辨率的图像。”
在操作过程中，在线墨水订单触发DHL仓库管理系统将订单存储架或托盘的位置发送给机器人控制器，机器人控制器启动命令，将机器人移动到正确的位置。接下来，安装在机器人手臂末端的3D相机，使用白光LED灯，在场景中投射一系列图案。通过集成相机观察光条纹的畸变，该系统以3D形式重建场景并生成点云，并用Robomotive公司的专用软件对其进行分析，进而识别盒子间的间隙，为机器人提供x、y和z坐标。随后，机器人使用真空夹持器夹取目标盒子，并将其移到传送带上；在传送带上，使用意大利Datalogic公司的条形码扫描器确保合适的库存单元（SKU）已被放置到传送带上。
图2：该系统用于DHL公司位于荷兰的仓库中，实现打印机墨盒箱子的搬运。
Vermeer表示，该相机能够承受冲击和振动，可以集成到机器人手臂的末端，从而为系统提供了极大的灵活性。根据IEC60068-2-27标准，Zivid公司3D相机的等级为IP65。该标准包括随机冲击、正弦振动和频率扫描，以解决机器人安装和恶劣的工作环境问题。
“在这项应用中，将工厂校准的相机连接到机器人上非常重要，这避免了使用多个相机的机器人视觉校准和额外成本。”Vermeer说道。
Vermeer指出，就整体系统而言，最重要的是Robomotive的系统不需要培训，这也是像DHL这样的物流公司对其感兴趣的原因。
Vermeer解释说，除了软件和相机，对于该应用中使用的其他组件，系统不依赖于平台，这意味着它可以使用任何机器人、PLC或PC。在这种情况下，该团队使用了美国Yaskawa Motoman公司的机器人、一台基于英特尔i7处理器并带有GPU的工业PC，以及一个真空夹持器。
图3：该系统可以实现每小时抓取400次，DHL预期三年能收回系统投资。
为了使系统工作，Robomotive通过对机器人可到达区域内的空间位置进行编号来定义特定的位置，在本应用中有四个托盘位置和大约五十个流动架位置。机器人从特定位置拾取箱子并将它们放置到传送带上。在本例中，机器人系统可以到达的范围为6米，半径为3米。
仓库管理系统知道哪个SKU在哪个托盘上（每个托盘和流动架的位置包含单个SKU），而机器人不必知道这一点。机器人只需要在仓库管理系统告诉它去哪个位置时，知道去哪里即可。机器人能够知道这一点，是因为每个位置都有一个固定的视觉识别起点。机器人移动箱子时，它需要使用相机识别箱子的尺寸，并且箱子需要被机器人手臂末端的真空夹持器抓取。此外，视觉系统能够识别它之前从未见过的随机堆叠的托盘。Vermeer认为，这点为该系统提供了灵活性和独特性。
“只要尺寸和重量在一定范围内，DHL就可以根据需要随意在托盘位置交换产品（SKUs）和/或堆叠图样。”他说。
为了使相机能够准确地确定箱子的位置和存在，需要大约1200mm的工作距离，同时机器人需要大约400~500mm的距离才能捕获视频以看到托盘，识别独立的箱子并且移动它。为了完成这两项独立任务，需要Zivid的3D相机在两个距离上采集图像。
德国西门子公司的PLC通过Profinet标准和所有系统组件的OPC统一架构（OPC UA）服务器，来实现控制和通信。
图4：在机器人单元外，操作员可以与Robomotive的系统交互，并提供有关托盘位置的说明。
为了保持系统运行，操作员必须从托盘上取下塑料包装材料，重新补充托盘位置，然后重新装载流动架。机器人单元中的光幕使机器人停止工作，这样，操作员就可以安全地补充托盘上的箱子以进行拾取。然而，用户可以在机器人工作时也安全地填充流动架，因此总能准备好物品。
Vermeer表示，系统集成过程中遇到的挑战包括与仓库管理系统进行通信。
“从我们的位置远程登录DHL的ICT （信息和通信技术）系统，需要与整个ICT员工和仓库管理系统进行协调。大多数工作涉及‘非快乐流程’，例如位置上是空的、无法读取条形码、箱子掉了。整个过程花费了数月时间，是我们曾面临的最大挑战。”他介绍说。
另外，准确地看到箱子以将它们彼此分开的能力也带来了问题。为了解决这个问题，Vermeer建议他们“在点云质量方面，获得相机可能得到的所有信息”。
“这就是3D相机在这里非常重要的原因。分辨率越高（Zivid的相机为高清晰度），我们可以看到的箱子边缘的细节就越多。我们需要很多细节才能将一个箱子与另一个箱子分开。”Vermeer说。
DHL预计该系统的投资收回期为三年。展望未来，两家公司正在合作升级该系统，包括将机器人部署在线性轨道上的可能性，使其能够通过相同的相机到达更多的流动架和更多的托盘。此外，鉴于该系统的成功，据悉，Robomotive正在与DHL和其他类似的大型物流公司讨论将该系统推向全球。
无人机应用： 搭载高清相机的无人机轻松实现炼油厂管道检查
无人机、高分辨相机和智能软件相结合，帮助炼油厂轻松实现管道检查任务。
炼油厂通常使用氢来降低柴油燃料中的硫含量。美国能源信息署（EIA）表示，随着国际市场对柴油燃料需求的增加，以及硫含量法规变得更加严苛，炼油厂对氢的需求量越来越大。而炼油厂使用的大量氢，都是在现场产生的。
为了在现场产生氢，使用甲烷水蒸气重整过程。在这个过程中，甲烷与蒸汽在高温下在充满催化剂的管道中混合，生产氢、一氧化碳和少量二氧化碳的混合物。在这个过程的最后，使用压力摇摆吸收（PSA）系统对获得的氢进行提纯。
复杂性与危险性
“炼油厂是一个既复杂又危险的环境。“加拿大Industrial Skyworks公司联合创始人Ian Hannah说道，“例如，在氢气产生的中心是‘辐射炉（Radiant Box）’，这是一个温度高达4000°F的工业熔炉。
‘辐射炉’的内部是用铬含量较高的材料制成的专用管道，用于承受这样极高的温度。在操作过程中，熔炉加热管道，然后管道再加热其内部的蒸汽-甲烷混合物。在很多垂直型熔炉设计中，40英尺的管道大约放置在距离熔炉的耐火墙1英尺远的地方，以便在生产过程中保持统一的温度。
最近，在一家大型炼油厂建造一个新“辐射炉”的过程中，在建造管道时发现了一个可能出现的制造缺陷。该公司要求检查“辐射炉”中使用的所有其他143根管道，因为在这样的高温环境下，即使是管道中的一个小划痕，都可能带来灾难性的后果。
这原本是一项简单的任务，但是现在40英尺长的管道已经安装到了熔炉中，使得这项检查任务的难度增大。直到确保所有的管道没有任何缺陷后，这个项目才继续进行。这个问题的传统解决方案是在“辐射炉”的每侧搭建手脚架，而且手脚架需要用塑料包裹，以避免与铬合金管道有任何金属接触。
这项工作大约需要几周时间才能完成，并且整个过程非常困难，因为通过一个2ft×3ft的小窗口进入设备极其受限制，在3排管道之间只有一个非常小的通道。因此，手脚架需要通过小窗口一段一段地进入，然后再进行装配。
启用无人机
然而Industrial Skyworks公司并没有采用上述执行起来比较困难的传统方法，而是采用了一种更快速、更具成本效益的解决方案。
Industrial Skyworks的解决方案使用了瑞士Flyability公司的一架Elios无人机，该无人机上装配了一台分辨率为1920×1080、帧率为30fps的相机，它能够在不需要手脚架的情况下，安全地捕获所有管道的图像。然后，捕获的图像被存储到一个板载SD存储卡中，该存储卡安装在无人机的载荷头中。图像数据也可以以更低的分辨率传输给操作人员，因为Elios无人机中集成了大疆公司的一个Lightbridge 2无线控制器，从而能够通过一条2.4GHz频段的链路，将图像从无人机传输到控制器。
“这种无线通信系统，在操作上不需要任何专门的授权，即使是在非常复杂和狭窄的空间中。”Hannah说道，“而且无人机的最大范围并不重要，因为它最多在距离操作人员几百英尺的地方工作。”
为了保护无人机和被检查的管道，无人机用一个碳罩加以保护。碳罩使用万向节机构，在三个轴向上与无人机分隔，从而使Elios无人机在任何可能的碰撞情况下，都保持稳定。相机不但对无人机和整个结构进行检查，还提供被检查管道的清晰图像。
“无人机使用白光LED作为光源，照亮被检查的管道，”Hannah介绍说，“对于无人机操作人员而言，知道无人机在飞行时的方向非常重要。”因此，如同飞机一样，无人机在左舷侧装有红光LED，在右舷侧装有绿光LED（见图1b）。随后，无人机操作人员就可以在已知的方向上捕获图像，确保“辐射炉”中管道的所有部分都被成像。
图1：（a）处在黑暗环境中的无人机操作人员。（b）无人机使用白光LED作为光源，照亮被检查的管道。如同飞机一样，无人机在左舷侧装有红光LED，在右舷侧装有绿光LED，这样机操作人员就可以知道无人机飞行时的方向。
大数据
除了显示来自无人机的实时监控视频外，Flyability公司的Cockpit软件还能显示现场遥控数据，这些数据中包含有无人机的飞行朝向、飞行高度和相机的倾斜角度等信息。为了分析无人机传来的被检测图像，并且不受无人机碳罩的干扰，操作人员可以使用Industrial Skyworks公司自己的BlueVu检测软件。
“通常，收集大量图像数据所面临的一个最典型的问题就是，没有任何工具能够有效地回看这些图像，并从中获得有价值的信息。这类分析是一项非常耗时的人工工作。”Hannah解释说。为了克服这个难题，BlueVu使用了一种优化的算法，能够从大量图像数据中自动地进行组织、分析和选择最相关的图像。
在不安装碳罩的无人机上，装上FLIR Systems公司的基于微测热辐射计的红外相机，可以使用BlueVu软件识别能源泄露等问题。在检测位于“辐射炉”中的管道时，在三天的时间内，相机捕获了管道的大量可见图像。通过这些图像，可以观察管道以及无人机的机翼主梁。
无人机上装配的相机采用广角镜头，水平视场为130°，垂直视场为75°，其捕获的图像具有足够的分辨率来识别管道中存在的任何潜在缺陷。
Hannah透露，“Industrial Skyworks将在2019年第三季度发布BlueVu软件的更新版本，新版本将使用基于神经网络的方法，来自动识别并分类图像中的问题，比如腐蚀和裂纹等。”
通过使用无人机捕获“辐射炉”中管道的图像，Industrial Skyworks通过供应商在三天内完成了检查任务。检查完成后，供应商还向Industrial Skyworks提供了高清图像，通过这些图像就能确定每根管道的使用情况。通过这种方法，比既定时间提前几周完成了管道检查任务，同时还避免了传统检查方法所带来的危险，比如搭建手脚架会让工作人员处在不必要的风险中。
Hannah表示，相比于传统的检查方法，无人机检查方法在成本上将节约3-5倍。有趣的是，美国联邦航空条例Part 107中针对非业余爱好者的小型无人机操作的新规则，涉及了重量在55磅（约25kg）以下的无人机的广泛商业用途。对此感兴趣的读者，可以到美国联邦航空管理局（FAA）的官网上（www.faa.gov）了解新规则的更多信息。
深度学习是解决所有 计算机视觉问题的最佳方案吗？
文/Jeff Bier，嵌入式视觉联盟创始人
在2017年5月举办的嵌入式视觉峰会（Embedded Vision Summit）上，我有幸听到了加州大学伯克利分校的Jitendra Malik教授的一场精彩的主题演讲。Malik在计算机视觉领域拥有30年的研究和教学积累，他解释说，他一直对深度神经网络（DNN）对计算机视觉的价值持怀疑态度，但是在面对日益增长的令人印象深刻的结果时，他最终改变了主意。
毫无疑问，DNN已经改变了计算机视觉领域。DNN在识别目标、在图像内定位目标以及确定哪个像素属于哪个目标等方面，都能提供更好的结果。即使是像光流和立体匹配这样的已经能用传统技术很好地解决的问题，现在也可以用深度学习技术获得更好的解决方案。深度学习的成功，远远超出了计算机视觉领域，它还涉及到语音识别等众多领域。
由于这些令人印象深刻的成功，深度学习在科研和产业领域吸引了大量的关注和投资。这些关注和投资，正在加速深度学习算法和有效实施这些算法方面的进展，从而使深度学习技术能够集成到越来越多的系统中，包括那些具有显著的成本和功率限制的系统。
深度学习真的适合所有问题吗？
这自然就提出了一个问题：如果你正在将计算机视觉功能集成到你的系统或应用中，你是否应该考虑除了深度学习以外的其他任何技术？在我的咨询实践中，越来越多的客户希望通过深度学习来解决计算机视觉问题。但是我们发现，在某些情况下，其他类型的算法更合适解决问题。
为什么？
首先，视觉世界是无限变化的，系统设计者有无数种方法使用视觉数据。其中有一些应用案例，如目标识别和定位，都可以通过深度学习技术得到很好的解决。因此，如果你的应用需要一种算法来识别家具，那么你很幸运：你可以选择一种深度神经网络算法，并使用自己的数据集对其进行重新编译。
我们要先谈谈这个数据集。训练数据对有效的深度学习算法至关重要。训练一个DNN通常需要数千个带标记的训练图像（即用所需输出标记的图像），以及数千个带标记的图像来评估候选训练算法。当然，这些数据的性质非常重要：训练和验证数据，必须能够代表算法要处理的情况的多样性。如果很难或者不可能获得足够多样化的训练数据，那么最好还是使用传统技术。
考虑使用其他技术而非DNN的另一个原因是，如果你要执行一项计算机视觉任务，而在以往的报道记载中，尚未使用DNN算法来解决这样问题。在这种情况下，你可以尝试使用为其他目的而创建的现有DNN算法；或者你也可以尝试创建一个新的DNN算法来满足自身需求。不管怎样，你都是处在研究领域。这可能会令人望而生畏，因为很少有人和组织有开发新型深度神经网络算法的经验。而且，很难知道你是否能在可用的时间、精力和计算资源限度内取得成功。
传统技术与DNN的结合
当我们深入研究客户的需求时，我们经常发现，最初看起来像单一视觉问题的任务，往往可以分解为几个子任务。通常，在这些子任务中，自然有一些子任务是适合使用DNN解决的，而另一些子任务则不适合用DNN来解决。对于这些项目，结合DNN和传统技术的解决方案，通常是更好的选择，而不是试图将整个问题都强制转向DNN解决方案。
记住机器学习技术是多种多样、变化多端的，这一点也非常重要。早在深度神经网络普及之前，其他机器学习技术（如支持向量机，SVM）就已经被用于解决很多视觉问题，并且今天仍然很有用。
鉴于DNN在研究和技术方面的巨大投资，很明显，DNN作为首选解决方案的适用范围，将会继续迅速扩大。然而，在可预见的未来，许多应用将通过传统技术（包括其他形式的机器学习）或通过深度学习和传统算法的组合，来获得最好的解决方案。
有关传统计算机视觉技术、DNN以及混合技术（传统技术+DNN）之间如何权衡的问题，将会在2019年的嵌入式视觉峰会上，通过主题演讲、展示以及与专家进行一对一深度交流等方式，加以详细讨论。2019嵌入式视觉峰会将于5月20日至23日在美国加州圣克拉拉举行。在过去的六年中，嵌入式视觉峰会已经成为人们了解嵌入式视觉技术最新发展动态的卓越盛会。2019年，传统算法和DNN方法将再次成为峰会关注的重点。届时，将会有视觉和深度学习领域的90多名专家，包括来自Google、Cadence、MathWorks、TVision Insights、Purdue University、Harvard University、Micron、Strayos、IHS Markit、Strategy Analytics等产业界、学术界和市场分析机构的专家，将与会者分享最新的技术见解和市场趋势。会议的所有内容都聚焦于实用的、可部署的计算机视觉技术。这次峰会将来自大型学术会议（如CVPR）的理论与现实联系起来。会议现场还会设有来自60多家厂商的100多种现场展示，你将会了解最新的深度学习处理器和工具、面向低成本、高效实时视觉的优化软件以及针对快速产品开发的架构和服务等最前沿的信息。欲了解有关嵌入式视觉及本次峰会的更多信息，请登录网站www.embedded-vision.com。
先进制造业+工业互联网
产业智能官 AI-CPS
加入知识星球“产业智能研究院”：先进制造业OT（自动化+机器人+工艺+精益）和工业互联网IT（云计算+大数据+物联网+区块链+人工智能）产业智能化技术深度融合，在场景中构建“状态感知-实时分析-自主决策-精准执行-学习提升”的产业智能化平台；实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链。
版权声明：产业智能官（ID：AI-CPS）推荐的文章，除非确实无法确认，我们都会注明作者和来源，涉权烦请联系协商解决，联系、投稿邮箱：erp_vip@hotmail.com。
相关内容
微信扫码咨询专知VIP会员