中科院空天院等最新《基于深度学习的多模态遥感数据融合》综述论文

随着遥感(RS)技术的飞速发展，大量具有复杂的异质的地观(EO)数据的出现，使得研究人员有机会以一种全新的方式处理当前的地球科学应用。近年来，随着地观数据的联合利用，多模态遥感数据融合的研究取得了巨大的进展，但由于缺乏对这些强异构数据的综合分析和解释能力，这些已开发的传统算法不可避免地遇到了性能瓶颈。因此，这一不可忽视的局限性进一步引发了对具有强大加工能力的替代工具的强烈需求。深度学习(Deep learning, DL)作为一项前沿技术，凭借其出色的数据表示和重构能力，在众多计算机视觉任务中取得了显著的突破。自然，该方法已成功应用于多模态遥感数据融合领域，与传统方法相比有了很大的改进。本研究旨在对基于深度学习的多模态遥感数据融合进行系统的综述。更具体地说，首先给出了关于这个主题的一些基本知识。随后，通过文献调研分析了该领域的发展趋势。从拟融合数据模态的角度，综述了多模态遥感数据融合中的一些流行子领域，即空间光谱、时空、光探测和测距光学。从融合数据模态的角度，综述了多模态遥感数据融合的几个子领域，即空间光谱、时空、光探测与测距-光学、合成孔径雷达-光学、RS-地理空间大数据融合。在此基础上，对多模态遥感数据融合技术的发展进行了有益的总结。最后，强调了剩余的挑战和潜在的未来方向。

引言

由于RS在观测地球环境方面的优势，在各种EO任务中发挥着越来越重要的作用(Hong et al., 2021b; Zhang et al., 2019a)。随着多模态RS数据的可用性不断增加，研究人员可以方便地访问这些数据，这适合于现有的应用。尽管有大量的多模态数据可用，但每个模态几乎不能捕捉到一个或几个特定的属性，因此不能完全描述观测到的场景，这对后续应用造成了很大的限制。自然，多模态遥感数据融合是突破单模态数据困境的一条可行途径。通过整合从多模态数据中提取的互补信息，可以在许多任务中做出更稳健可靠的决策，如变化检测、LULC分类等。与多源、多时相遥感不同，“模态”一词一直缺乏明确、统一的定义。

基于深度学习的多模态遥感数据融合

本文在前人研究(G´omez-Chova et al., 2015; Dalla Mura et al., 2015)。遥感数据的主要特征有两个主要因素，即传感器的技术规格和实际采集条件。具体来说，前者决定了产品的内部特征，如成像机理和空间、光谱、辐射、时间等领域的分辨率。后者控制外部属性，如采集时间、观测角度、安装平台等。因此，上述因素有助于描述所捕获的场景，可以被描述为“模态”。显然，多模态遥感数据融合包括多源数据融合和多时数据融合。

一些典型的RS模态包括Pan、MS、HS、LiDAR、SAR、红外、夜间灯光和卫星视频数据。最近，GBD作为RS家族的新成员，在EO任务中受到越来越多的关注。为了整合这些模态提供的互补信息，传统方法已经被深入研究，基于领域特定知识设计手工特征和利用粗糙融合策略，这不可避免地削弱了融合性能，特别是对于异构数据(Hong et al., 2021a)。随着人工智能的发展，数字学习通过自适应的自动实现特征提取和融合，在为输入和输出数据之间的复杂关系建模方面显示出巨大的潜力。因此，本文将重点介绍在每个融合子领域提出的方法，并简要介绍每个模态和相关任务。 目前，有一些关于多模态数据融合的文献综述，根据不同的模态融合，综述如表2所示。现有文献对多模态遥感数据融合的发展方向关注较少，或只涉及少数子领域，缺乏对这一主题的全面、系统的描述。本研究的目的是全面回顾基于数据挖掘的多模态遥感数据融合研究的热点领域，进一步推动和促进这一新兴领域的相关研究。第二节收集和分析了与本课题相关的文献，第三节阐述了多模态RS数据融合的代表性子领域。在第四节中，给出了一些有用的教程、数据集和代码。最后，第五节提供了关于挑战和前景的评论。为方便读者，表1列出了本文使用的主要缩写。

本文将现有的融合方法分为两大类，即同质融合和异质融合。同质融合包括pansharpening、HS pansharpening、HS- ms和时空融合，异构融合包括HS-optical融合、SAR-optical融合和RS-GBD融合。由于上述子领域的发展差异很大，因此采用不同的标准来引入每个子领域，如图5所示。为了方便读者，我们还在每个方向列出了一些经典文献。

日益增多的多模态遥感数据对地观任务既是挑战，也是机遇。近年来，双方共同利用优势互补的特点，取得了重大突破。特别是与人工智能相关的技术，由于其在特征提取方面的优势，已经显示出其相对于传统方法的优势。在上述遥感大数据和前沿工具的推动下，基于深度学习的遥感多模态数据融合成为遥感领域的一个重要课题。因此，本文对这一快速发展的研究领域进行了全面的介绍，包括文献分析、系统总结了遥感融合研究的几个主要子领域、现有的研究资源，并对未来的发展进行了展望。具体来说，我们重点研究了第二部分，即不同融合子领域中基于深度学习的方法，并从使用的模型、任务和数据类型等方面进行了详细的研究。最后，令人鼓舞的是，近年来DL已经应用到多模态遥感数据融合的各个领域，并取得了巨大而有前景的成果，这为研究者今后进行深入研究提供了更多的信心。