【学会通讯】CCIG 2022演讲实录：王耀南：高光谱机器视觉感知技术应用与发展趋势

2022 年 10 月 3 日 中国图象图形学学会CSIG

王耀南

中国工程院院士

中国图象图形学学会理事长

湖南大学教授

视觉是生物获取信息、感知世界、认识世界的重要途径。随着科技的发展，高光谱成像的目标是获得包括从可见光到长波、红外光谱的精细光谱“指纹”，高光谱图像能够精确反映物质独特的光谱特性，在遥感空间信息研究和工业技术研发中有着广泛的应用。下面报告主要分为四个方面：首先介绍高光谱机器视觉感知技术研究背景；然后介绍目前国内外研究现状；第三是关键技术应用；最后介绍技术的发展趋势与展望。

一、高光谱视觉感知的研究背景及意义
高光谱机器视觉作为智能机器人的“高精密眼睛”，主要包括成像与分析，从传统成像到多光谱成像，从计算智能到认知智能，其发展对机器人的控制起着重要的作用。

随着科技的不断进步，RGB 相机逐渐发展为光谱相机，目前高光谱相机及其相关技术已成为智能机器视觉领域研究的前沿方向。但是由于高光谱成像不仅要获取空间信息、图像信息，还要同时分析三维光谱数据，导致需要处理的数据量非常大，这是机器视觉领域面临的一个巨大挑战。近几年来随着边缘计算的兴起，机器视觉硬件的发展，我们可以将数据处理的工作下沉到边缘端进行计算，使高光谱视觉应用到工业检测中。

受不同生物的感光细胞具有差异启发，高光谱成像与感知可将丰富的、不同波段的图像信号映射到数字世界，是机器智能的重要支撑技术。机器人的高光谱视觉研究主要包含两部分内容，一部分是成像感知，另一部分是自动的光谱信息分析（图 1）。成像技术实质上是感光元件把光信息转化为数字图像信息，最早的光谱成像来自感光设备，目前低成本、小体积、高速率、低功耗的感光元件成为发展趋势。近年来高光谱机器视觉的发展态势从感知智能进入到了认知智能，从过去的 RGB 图像变成今天的光谱图像，已经进入到一个计算智能成像的时代。目前高光谱相机及其相关技术已成为智能机器视觉领域研究的前沿方向。

图 1 高光谱机器视觉研究的主要内容

分析与认知能力是机器人能否对环境中的有效信息加以处理与理解的重要标志，是智能化发展的必经途径。高光谱机器视觉分析与认知面临着三大挑战：1）图像特征提取，2）语义知识理解，和 3）自主适应学习。只有通过成像获取信息，从感知发展到认知理解，未来才能满足智能机器人的视觉需求，实现自动的目标探索。

围绕这三大挑战，使高光谱机器视觉具备多模态成像系统并提供智能分析处理算法，是当前机器视觉前沿领域研究的重点和难点。近几年，高光谱视觉传感器的发展突破了两项关键技术。第一项技术面向成像系统。成像系统围绕复杂的目标，能够解决在多空间、大尺度下的成像问题，可以同时捕捉三维空间和光谱维度的成像。第二项技术面向三维光谱数据分析，比如空间-光谱联合分析、大数据分析和处理等。快速突破这两项关键技术，有助于实现高光谱机器视觉技术的广泛应用。高光谱机器视觉是发达国家科技争夺的制高点，将改变现有机器视觉应用场景，其研究代表一个国家机器视觉前沿发展水平。为了促进机器视觉技术的发展，我国多次发布报告，计划将机器视觉列为主要技术领域，以加快该领域技术的发展速度。

二、高光谱视觉感知国内外研究现状

近几年来，在工业 4.0 的推动下，除了传统机器视觉以外，高光谱机器视觉是一个前沿领域的主要方向，涵盖了信息论、高分子材料、微电子、人工智能等多学科领域。高光谱机器视觉研究的重要意义主要有三个方面，1）面向世界科技前沿。高光谱机器视觉是集光学、人工智能技术、电子信息于一体的前沿科技；2）面向经济主战场。高光谱成像与分析技术广泛应用于医药、视频、遥感、农业等领域；3）面向人民生命健康。高光谱视觉检测技术具备检测速度快、无损检测特点，能够保障医药生产安全。高光谱视觉感知的国内外研究体系见图 2。

图 2 高光谱视觉感知的国内外研究体系

高光谱机器视觉核心技术主要包括精准成像（成像方案设计、光学系统搭建）和智能检测分析（图像识别、光谱分析）。近几年发展最迅速的就是高光谱精准成像系统，可以分为时间光谱扫描成像（凝视型）、空间光谱扫描成像（摆扫式和推扫式）以及快照式光谱成像。目前通过这些方式实现光谱成像后，凭借“图谱合一”的技术对物质进行发现识别、分类筛选、定量分析等。

随着高光谱成像技术以及精准医学的迅速发展，将高光谱成像技术应用于医学诊断成为新的研究趋势。高光谱成像技术为医疗诊断提供更精细的光谱特征。同时由于高光谱机器视觉技术快速化、灵敏化、非接触、无损伤等优点，其在医药领域的应用成为热点，在鉴别药材成分、品质、工艺等方面提供了精准的技术鉴定。高光谱遥感的空间分辨率和光谱分辨率为对地观测提供了精密详实的图谱数据，波段多而窄，提供了分析精度和可靠性，在海洋探索、农林业中的应用越来越广泛。在军事应用中，高光谱成像实现了对目标和伪装物、覆盖物与周围正常环境之间的光谱特征微弱变化的检测并确定目标位置，已成为军事侦察的一种新型重要手段。

虽然高光谱机器视觉已成熟应用到各领域，但仍面临光谱成像数学模型复杂多样、异常目标检测识别分析困难、跨场景结构化信息挖掘能力不足等多方面应用挑战。

三、高光谱视觉感知关键技术及应用
近几年来，我们团队围绕计算成像机理，目标识别与异常检测和跨场景部署自主学习三大关键问题，面向医药检测、工业检测、食品检测、医学分析开展了众多研究。

（一）高光谱计算成像技术
高光谱成像是在获取图像时得到每个像素的光谱信息，因此成像性能将直接影响后续检测任务的完成效果。我们团队在计算成像方向开展了两项主要的创新研究。

第一项工作将传统的点扫描成像和线扫描成像过渡到快照式高光谱成像。过去高光谱成像数据量比较大，使用机器学习技术面临巨大的挑战，但是今天从计算光谱这个角度解决了数据量大的问题（图 3）。比如，为了解决模型驱动的压缩感知方法重构精度低、数据驱动的方法泛化性能不佳的问题，我们提出了基于深度低秩分解与深度去噪网络融合的压缩感知成像技术。

图 3 高光谱计算成像技术挑战和技术要求

第二项工作围绕光谱成像的数据分析，开展了两方面的细致研究。一个是编码孔径快照式高光谱成像技术。另一个是阵列窄宽带分光的光谱感知技术。编码孔径快照式高光谱成像技术中的一个关键问题，是在光谱成像过程中如何进行重建。针对现有的压缩感知重构技术速度慢、重构精度低、重构质量无法满足需求的问题，我们提出了基于先验图片引导的计算重构方法，提高了光谱计算重构精度与速度。阵列窄宽带分光的光谱感知技术的研发中，针对基于阵列窄带分光相机中滤光片选择难，造成光谱成像质量低的问题，我们提出了阵列式可学习窄带滤光片分光成像技术，提高了光谱图像成像的质量。

从光感成像到光谱计算成像，通过计算模型把两方面的特点都结合起来，即高光谱计算成像。它主要面向模型优化，并根据优化后的模型设计矫正策略，光谱成像中有很多非线性问题需要解决。比如，针对缺少医药高光谱高质量图像先验知识的问题，我们提出了基于深度先验网络的高光谱图像生成器，增强了高光谱非线性特征的提取能力，有效提高了重建图像的质量。在解决了非线性问题后，我们需要实现成像机理、成像光谱和空间信息之间的精准匹配，也就是像素对应的位置和对应光谱要实现精准匹配，同时还要解决重构问题以及传感器失位抖动带来的干扰等问题。当这些问题都被解决后，我们就可以实现自主的高光谱成像的硬件设计。

（二）高光谱目标识别与异常检测技术
高光谱目标识别与异常检测广泛应用于药液异物检测、药物成分分析等医药场景，存在异常光谱未知、数据体量庞大、场景复杂多变等多种问题。我们团队基于高光谱目标识别与异常检测的研究主要包括两方面内容，1）跨场景高光谱目标识别与筛选技术和 2）复杂受限环境下高光谱异常检测技术。

在这一领域，中国学者取得了大量的突出成果，本报告将汇报我们在研究中遇到的问题与挑战。第一个要解决的问题是在复杂背景下如何实现精准识别？在既有光谱又有空间信息的情况下，我们提出了一种有效的光谱合一新型特征提取网络，并利用特征融合的方法来解决复杂背景的难题。第二个要解决的问题是怎样充分利用光谱信息来提升目标分析精度。因为高光谱信息属于三维数据，第三个问题是如何实现对三维数据的快速处理，解决实时性分析的难题。只有提高分析速度，才能更好地应用到高精、高速、高可靠的工业机器视觉领域。第四个问题是如何通过模型学习实现对目标物体的特征分析。比如新药研发，通过光谱分析不同物质的信息，得出物质的特征用于新药的配置。第五个问题面向异常检测，通过高光谱成像解决形态复杂的异物质量检测等难题。

（三）高光谱机器视觉的工业应用技术

针对高光谱成像设备图像捕获环境变化大等问题，我们开展了模型领域自适应、边缘 Al 加速等工作，促进工业现场高光谱技术的高效应用。在应用高光谱机器视觉技术时，第一个需要关注的是处理速度的问题。高光谱传感器的目标识别任务和异物探测算法任务对实时性要求很高。第二个需要关注的是运动问题。物体是运动的，探测器有些时候也是运动的，我们需要解决运动过程中的目标识别和跟踪。第三个需要解决的是成分问题。光谱信息多了一个成分分析，比传统的图像分析多了一维信息，它面向物质的特征，我们叫做“指纹信息”。我们团队围绕这三个问题开展了一系列探索和研究。

针对速度的提升，我们通过硬件实现了视觉边缘计算。在处理复杂的光谱信息和图像信息时，如果使用传统的软件算法去实现，对于高速运动的机器视觉是不现实的。因此我们开展了边缘视觉智能算法加速工作，对神经网络进行轻量化压缩，同时利用 FPGA 在数字逻辑层面对算法进行硬件优化加速，实现了集图像采集、图像处理于一体，可实时输出处理结果；加入计算成像部分后可进行高光谱图像的快速检测和光谱图像的嵌入式快速实时处理。

在实现了算法硬件化之后，高光谱在制造业发挥了重要的作用。比如，传统 LED 分选工艺存在线性增量问题，严重制约 LED 产业产能提升，我们通过线扫描高光谱相机获取整板 LED 光谱数据，可实现整板LED 波长一致性分析。高光谱在虚拟现实显示技术制造当中也发挥着重要的作用。它可以显示、探测、分析数据，最后将结果反馈给设计者，设计出不同的光源，绘制出不同的光谱，产生不同的发光效果。

自新冠肺炎疫情发生以来，计算光谱成像与空谱特征融合技术可以提升机器人对疫苗的感知识别能力，研制具备主动检测与分析能力的智能机器人能有效保障疫苗的生产质量。我们团队在已有的无菌化高端医药自动化生产线基础上，加入高光谱成像机构进行进一步改造，形成了高端医药光谱成像与智能检测分析仪器样机，未来有望应用于新冠病毒疫苗快速质量检测。

高光谱仪器设计首先考虑整个仪器的拟人化操作，以避免人工操作带来的污染。第一步先研制拟人化的机器，之后在机器人中加入高光谱仪器，以获取目标的光谱信息。如何有效获取光谱信息呢？我们通过不同成像，高速动态捕捉与定位信息来获取光谱信息，获取到信息后还需要针对光和谱进行融合。我们用机器学习的方法，把双目视觉的机器学习方法变成光和图像融合的方法来做感知研究。

总结一下我们设计的高光谱机器视觉成像仪器的五个主要组成部分。第一部分和第二部分解决了如何成像的问题，第三部分是获得图像信息以后利用硬件处理数据，第四部分是使用边缘端和云端实现实时数据分析，第五部分是仪器精密控制系统。同时我们还需考虑运动的问题，在运动过程中实现对仪器控制，能够更好地获取信息，顺利完成成像。

目前我们已自主研制出不同型号的高速高精度医药、疫苗异物识别检测和质量分析机器人，已研发疫苗制造-检测机器人自动化生产线，成功应用于国药集团、北京科兴中维有限公司，实现了疫苗研发与安全生产。我们提出了多传感器融合反馈控制和精密机械多参数协同控制方法，研制了整机协同控制系统，提高了疫苗自动化生产线的准确性、稳定性和可靠性。我们成功研制了国内首条智能制药工厂自动化柔性生产线，实现无菌化医药、疫苗的制造。我们研制出的高端无菌化医药装备自动化生产线，已经成功应用于楚天科技、千山药机等装备企业，并推广应用于哈药集团、同仁堂药业等药企。

四、发展趋势与展望

在研制出高光谱仪器设备后，可以把它连成一个自动化的生产线，通过自动化控制系统，形成一个可以高速、高可靠、无人化的生产线。但是未来依旧还有很多挑战性的工作，比如数据传输，光谱成像分辨率问题和仪器小型轻量化等。下面总结高光谱仪器的发展趋势和展望（图 4）。

图 4 高光谱仪器的发展瓶颈和解决途径

目前研究碰到的最大的问题，就是数据传输与处理的问题。工业互联网络的时代，我们生产的医疗数据、教育数据等要实现远程传输。这么庞大的数据量，很多都是光谱信息和图像信息，因此要充分利用 5G 技术和 6G 技术，保证数据通信传输顺畅。第二个问题是光谱成像当中高分辨率问题。因为高光谱最大的弱点就是分辨率比较低，不像可见光成像的分辨率比较高。合成孔径雷达图像的分辨率也比较低，但是它的探测精度比较高。每一种传感器都有优点和缺点，因此未来一个重要的研究方向就是新的成像方法和机理探索。第三个问题是所有的高光谱成像仪器都需要小型化和高可靠性，能够装载在不同的设备上。

围绕这三个挑战，未来我们要做的工作：第一个方面是随着成像要求的不断提高，单一传感器的高光谱成像系统难以满足需求，发展多传感器、多物理信息融合系统是未来趋势。第二个方面要融合光谱信息和人的经验知识来驱动分析，解决高光谱大数据图像处理问题。融合物理特性的模型驱动方法自适应提取高光谱图像的最优先验，且无需建立大型训练样本。第三个采用的思路是更新，过去我们采用的是模型驱动，现在机器学习采用数据驱动。未来的驱动应该像人一样，要把模型驱动和数据驱动结合起来，能够真正完成人类的认知智能的知识驱动。模型、数据与知识联合驱动能够有效克服模型驱动和现有数据驱动方式的瓶颈，成为未来高光谱图像处理的主流方法。未来仪器的设计也要像人一样能够利用知识来驱动，这就是我们未来发展方向，即提升高光谱视觉感知技术。

（本报告根据录音整理）

来源：中国图象图形学学会通讯