【干货】 2020年度图像图形学发展年度报告之五：视觉传感成像技术与数据处理进展

2020年度图像图形学发展年度报告之五：《视觉传感成像技术与数据处理进展》由视觉传感专业委员会组织撰写

关注公众号，回复“视觉传感成像技术与数据处理进展”，即可下载详版学科发展报告。 

点击阅读原文，即可阅读精简版学科发展报告。

摘要

本文以视觉传感的新视觉传感硬件、处理技术和应用场景为主线，通过综合国内外文献和相关报道来梳理该领域在成像技术和数据处理方面的主要进展。从激光扫描成像、大动态范围光学成像技术、偏振成像与传感技术和海洋声学层析成像等研究方向，重点论述视觉传感领域的发展现状、前沿动态、热点问题和趋势。基于激光扫描的3维建模技术虽然取得了一些进展，但仍面临居多挑战。随着硬件设备和数据处理技术的发展，未来激光扫描系统将在众多民用领域得到广泛应用，满足不同的探测和建模任务；大动态范围光学成像相关技术已逐步应用于红外成像、光谱成像、偏振成像、超声成像和单光子成像等领域，将为多维信息获取、智能处理以及数据挖掘等提供有力支撑；充分挖掘偏振成像的应用潜能，与其他先进成像传感技术相结合，实现更优性能，对各个尺度下的成像场景都具有重要的应用价值；海洋声学层析成像需要与其他方法相结合，发展基于分布式水下传感网络、卫星观测、海底电缆、人工与自然噪声机会声源等联合观测的低成本、长期观测网络。对国内外视觉传感领域进展情况进行梳理、总结，有助于发现该领域的发展趋势以及明确下一步的研究方向。

国内外研究进展比较

在激光扫描成像方面，随着深度学习的快速发展和传感器等硬件设备的迭代更新，3维点云数据的采集和处理日益快捷高效，应用场景也越来越丰富。目前，在商业化硬件方面，国内存在一定不足。在数据处理算法方面，国内许多机构和团队已经达到世界领先水平，在点云数据的应用领域也更广，学科间交叉融合也更加丰富。尤其是相关团队在标准数据集生产和共享方面做了大量实质性工作，将促进和提升点云数据的处理能力和应用水平。

在大动态HDR成像技术方法方面，国内外研究大多集中在多次曝光、不同方法调制及多探测器方法。采用非线性响应、多次曝光成像，动态范围达到约140dB，采用多探测器成像可达到约160dB动态范围。在实时HDR视频处理方面，GPU应用研究主要集中于HDR图像/视频的实时显示，利用GPU并行处理能力实现对高分辨率图像的色调映射加速操作，并以异构平台方式形成完整的HDR成像系统，国内外都能实现对大动态高清视频图像的实时处理。针对手机、数码相机及视频监控等领域的HDR视频成像应用，国外有多种高性能商业化ISP器件，国内成熟的ISP器件产品较少且处理性能与国外比有不小差距。在HDR图像融合及色调映射处理方面，对于静态多曝光HDR图像融合，利用传统处理方法已能很好解决。对于动态图像/视频的HDR融合重建，特别是大尺度前景移动的数据，融合图像的精确对齐仍然是当前面临的挑战，如何抑制融合图像的伪影和畸变是目前国外研究的热点。近年来，国外研究方向呈现出从传统光流方法、光流与神经网络结合向利用深度学习直接图像映射的发展脉络，深度学习神经网络也逐步应用于单曝光HDR重建与色调映射研究。深度神经网络的兴起为我国在HDR图像融合方面赶超国外研究水平提供了良好契机，国内科研团队已在加大结合深度学习神经网络与HDR融合的研究工作。

在分焦平面偏振成像领域，美国率先完成系统集成与测试，早期军方与中波红外相结合进行目标探测，在民用领域4DTechnology推出PolarCam快照微偏振相机，实现了宽光谱响应、宽角带宽和高消光比，探测器应用的是SonyIMX250MZR，同时索尼也推出了IMX250MYR，实现了微偏振阵列与拜尔滤波片结合的彩色线偏振CMOS芯片，加拿大Lucid公司推出了这两款相机的小型化设计，截面仅一元硬币大小。国内的DoFPCMOS芯片研究的系统性与实用性仍需有待提升。在应用层面，国内科研机构在偏振去马赛克、偏振去雾、水下偏振、偏振3维成像、成像偏振光谱遥感、机载偏振成像、海洋环境光谱偏振成像和空间偏振探测等方向不断取得成果。地海空天一体化的光学探测需求促进了偏振成像与传感的快速发展，部分研究成果已经处于国际领先水平。

通过对文献和专利知识产权的统计表明，论文数量最多的国家为美国，远高于其他国家；专利最多的国家为日本，说明日本对这一领域非常重视，在技术创新领域有一定优势；我国无论是论文数量还是专利数量都较少。此外，从机构研发领域来看，虽然论文数量排名第一的机构是俄罗斯科学院，但排序前10名的机构里有7所属于美国，可见美国在海洋声层析领域占有一定优势。整体而言，目前中国在海洋声层析技术领域明显落后于美国、日本及俄罗斯等国家。

发展趋势与展望

基于MLS扫描的3维建模技术虽然取得了一些进展，但仍面临居多挑战。首先，下一代MLS系统必须具备一个新的基于光纤陀螺（fiberopticgyro，FOG）的IMU（FOG-basedIMU）（Xu等，2019a）和一个多GNSS（global navigation satellite system）星座接收机来提高定位精度。同时，还需集成更小的激光扫描头，实现更高的扫描频率以及更容易的操作。随着硬件技术的快速发展，MLS系统的预期成本将持续下降，MLS系统将得到更广泛的应用。因此，应当开展更多的研究和应用来探索和发挥MLS的应用潜力，尤其是结合激光雷达数据和无人机图像的应用。此外，需要依据采集数据的特征和应用场景开发相应的处理算法和流程，如面向地形提取、城市3维建模以及植被分析等的自动算法需要进一步发展。当前，基于深度学习的点云处理尚处于起步阶段，未来的研究工作不仅应该集中在提高数据集的准确性和算法的性能上，而且应该确保方法的稳健性和可移植性。尤其是为了解决对真实世界的点云采样不均匀、不充分情况，需要开发更成熟的深度学习体系框架。目前很少有公开数据集能完全涵盖真实城市场景的复杂性，因此对复杂城市街道的语义理解是人工智能面临的挑战。快速增长的城市MLS点云数据将产生一种新的地理大数据类型，也为开发处理点云的人工智能模型提供了更多有利条件。值得注意的是，现实世界往往是动态变化的，然而目前多数方法只讨论从单次扫描建立精确3维（城市）模型，缺乏对真实世界动态信息的关注。将点云与相机等其他传感器相结合的动态3维建模更具挑战性和研究价值。可以预见，未来MLS系统将在交通、土木工程、林业和农业等民用领域得到广泛应用，满足不同的探测和建模任务，同时也将在对考古学和地学等自然科学的理解中发挥重要作用。

近年来，大动态光学HDR成像技术已逐步应用于红外成像、光谱成像、偏振成像、超声成像和单光子成像等众多领域，将为多维信息获取、智能处理和数据挖掘等提供有力支撑，未来技术发展的关注点主要包括:1）随着新型探测器材料、探测器设计、半导体设备及工艺向纳米技术迈进，预计千万像素分辨率、动态范围优于160dB的新型探测器将面市，大幅提高低照度下的灵敏度；2）结合应用场景，采用人工智能、神经网络等新型图像融合及色调映射处理方法，与高性能SoC/MPSoC、NPU（neural network processing unit）等硬件结合的（AI+Camera）一体化/软件定义的成像技术，将为大动态、One-Shot/多帧实时视频成像开辟新的技术途径；3）动态变化场景的HDR成像及大动态、宽色域、彩色HDR成像的获取、处理和显示等成为急需突破的重要领域。

偏振是光的基本特性之一，光学成像方法都有偏振现象的存在，因此充分挖掘偏振成像的应用潜能，与其他先进成像传感技术相结合，实现更优性能，在各个尺度下的成像场景都有重要的应用价值。在研究过程中，先进工艺、智能算法、多源融合等多个领域共同构建出新型偏振成像技术的发展链路。在先进工艺方面，亚波长器件的设计与制造、超表面材料、手性超透镜、圆偏振二向色性器件等的理论研究与设计实现都对偏振成像具有重要意义，甚至会推动新体制成像产生颠覆性进展。在智能算法方面，针对偏振图像数据的去雨去雾、检测识别、语义分割等技术还有待深入研究；偏振解析3维重建可以克服传统双目视觉法、飞行时间法、激光线扫法、光度立体法和结构光投影法等传统方法中的工作距离、主动照明、环境光影响、高光影响及纹理特征等限制，实现紧凑被动单目单视图偏振成像3维重建，作为感知真实3维世界的重要信息获取手段，为重构物体真实几何形貌及后续的检测、识别等提供数据基础。在多源融合方面，“偏振+XX”技术的多维数据获取与智能处理，偏振+红外、偏振+光谱、偏振+ToF（time off light）、偏振结构光、偏振荧光成像（fluorescence polarization imaging，FPI）、偏振敏感光学相干层析技术（polarization sensitive optical coherence tomography，PS-OCT）、偏振二次谐波技术（polarization dependent optical second harmonic imaging）、偏振共聚焦显微成像等技术都在各自的应用场景展示了优异性能。

声层析成像技术经过40多年的发展，理论和技术得到了长足发展，但仍然面临海试费用高、无法单独作为观测手段的瓶颈，未来发展中需要与其他手段结合，发展基于分布式水下传感网络、卫星观测、海底电缆、人工与自然噪声机会声源等联合观测的低成本、长期观测网络。一个有前景的层析方案是采用分布式水下传感网络，增加节点数量，在待观测区域的外围与内部密集布放观察节点，节点可以是低功耗的、小型低成本的，还可以结合一定数量的移动节点，如自主水下航行器（autonomous underwater vehicle，AUV）和滑翔机。分布式层析的系统设计、分布式处理方法和性能分析都有待进一步发展。被动声层析（passive acoustic tomography，PAT）的目的是避免利用锚系高功耗的声源，而采用人工和自然环境噪声作为层析成像信号。航船、渔业、海洋工程等产生的人工噪声、风成噪声、生物噪声、降雨噪声和冰下噪声等自然噪声都可以作为层析成像信号。将海洋声学层析成像、海洋动力测量、卫星遥感和海洋环流模式同化将是一个重要的研究方向（Wunsch，2020）。

报告章节一览

1. 引言

2. 国际研究现状

    2.1 激光扫描成像

        2.1.1 特征提取

        2.1.2 语义标注与分割

        2.1.3 对象/实例检测

    2.2 大动态光学成像

        2.2.1大动态光学成像技术

        2.2.2 图像融合及色调映射

    2.3 偏振成像与传感技术

    2.4 海洋声学层析成像

3. 国内研究进展

    3.1 激光扫描成像

    3.2 大动态光学成像

        3.2.1成像技术

        3.2.2 图像融合及色调映射

    3.3 偏振成像与传感技术

    3.4 海洋声学层析成像

4. 国内外研究进展比较

5. 发展趋势与展望

CSIG视觉传感专业委员会介绍

视觉传感专委会以视觉传感、信息处理理论与技术为核心，瞄准国际技术前沿和国家重大需求，汇聚国内外顶尖创新人才，围绕着视觉传感器设计、信息获取、分析与智能处理等领域的重大问题，重点发展传感器、环境感知、智能视觉等关键技术能力，构建一体化综合信息获取、处理平台，为国家传感技术、信息感知、人工智能等重大战略部署的实施提供有力技术支撑。目前，视觉传感技术主要利用声、光、电、磁等成像设备，通过主动/被动感知以及传统/非传统信息获取手段，完成视觉传感信息获取、分析与处理等关键任务。

专委会将积极吸纳国内视觉、传感、信息处理等领域内的一流学者、学术新秀及业内专家参加，建立常态化的学术交流机制，通过相关领域专家学者的思想碰撞，达成研究方向、技术应用上的共识，推动相关领域的研究进展及产学研合作。

专委会将从“视觉”和“传感”两个专业方向开展学术/技术交流、发展战略以及相关技术规范研究，促进国内外学者之间的了解、交流与合作，为学术界与产业界、业内专家与广大科研人员交流搭建桥梁，推动国内视觉传感技术发展，提升我国视觉传感研究在国际领域的影响力。

组织结构

主任：

汶德胜   中国科学院西安光学精密机械研究所

副主任：

王   程   厦门大学

廖桂生   西安电子科技大学

赵航芳   浙江大学

秘书长：

宋宗玺   中国科学院西安光学精密机械研究所

特别鸣谢

感谢CSIG咨询与评议工作委员会的大力支持。

CSIG咨询与评议工作委员会的主要工作包括就学科发展和学会发展组织撰写专家建议白皮书，组织科技成果鉴定。

组织结构

主任：

李   波   北京航空航天大学

副主任：

王涌天   北京理工大学

秘书长：

张永飞   北京航空航天大学

委员：

汪    萌   合肥工业大学

王    程   厦门大学

颜    波   复旦大学

闵卫东   南昌大学

刘青山   南京信息工程大学

贾    森   深圳大学

高    峰   中国海洋大学

彭宇新   北京大学

关于第十一届国际图象图形学学术会议延期的通知

关于延期举办2021华南国际机器视觉展暨CSIG视觉前沿技术与应用研讨会的通知

中国图象图形学学会2021年部分学术会议召开信息变更通知

关于提名2021年度中国图象图形学学会会士候选人的通知

关于2021年度中国图象图形学学会奖励推荐工作的通知

中国图象图形学学会关于组织开展科技成果鉴定的通知

CSIG图像图形中国行承办方征集中