智能遥感：AI 赋能遥感技术

2022 年 5 月 29 日 专知

随着人工智能的发展和落地应用，以地理空间大数据为基础，利用人工智能技术对遥感数据智能分析与解译成为未来发展趋势。本文以遥感数据转化过程中对观测对象的整体观测、分析解译与规律挖掘为主线，通过综合国内外文献和相关报道，梳理了该领域在遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘以及遥感开源数据集和共享平台等方面的研究现状和进展。首先，针对遥感数据精准处理任务，从光学、SAR等遥感数据成像质量提升和低质图像重建两个方面对精细化处理研究进展进行了回顾，并从遥感图像的局部特征匹配和区域特征匹配两个方面对定量化提升研究进展进行了回顾。其次，针对遥感数据时空处理与分析任务，从遥感影像时间序列修复和多源遥感时空融合两个方面对其研究进展进行了回顾。再次，针对遥感目标要素分类识别任务，从典型地物要素提取和多要素并行提取两个方面对其研究进展进行了回顾。最后，针对遥感数据关联挖掘任务，从数据组织关联、专业知识图谱构建两个方面对其研究进展进行了回顾。除此之外，面向大智能分析技术发展需求，本文还对遥感开源数据集和共享平台方面的研究进展进行了回顾。在此基础上，对遥感数据智能分析与解译的研究情况进行梳理、总结,给出了该领域的未来发展趋势与展望。

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=202203010000001&journal_id=jig

1. 引言

近几年来，国内外人工智能的发展和落地应用如火如荼，促成这种现象的原因可以归纳为两个关键词，即“大数据”与“高算力”。在地理空间数据分析与应用领域，这种变化也正在发生着，比如在国家高分辨率对地观测重大科技专项（简称“高分专项”）等国家重大任务的推动下，我们可获取的地理空间数据越来越多，另外，以“云+端”架构为代表的高性能计算框架也在不断发展，促进了算力的提升。在此背景下，以地理空间大数据为基础，利用人工智能技术挖掘其深层信息、赋予其更多的应用模式，将成为未来地理空间数据分析应用领域发展的长期主题。

发展遥感数据智能分析技术的目的是将长期积累的遥感数据转化为对观测对象的整体观测、分析、解译，获取丰富准确的属性信息，挖掘目标区域的演化规律，主要包括遥感数据精准处理、遥感数据时空处理与分析、遥感目标要素分类识别、遥感数据关联挖掘等。此外，面向大智能分析技术发展需求，遥感开源数据集和共享平台方面也取得了显著进展（陈述彭等, 2000; 宫辉力等, 2005）。

遥感数据精准处理方面，遥感数据精准处理的目的是对传感器获取的光谱反射或雷达散射数据进行成像处理和定标校正，恢复为与地物观测对象某些信息维度精确关联的图像产品。传统方法需要根据卫星、传感器、传输环境、地形地表等先验模型，以及外场定标试验获取定标参数，建立精确的成像模型将观测数据映射为图像产品。随着传感器新技术的发展和分辨率等性能的提升，先验模型的建立越来越困难，外场定标的难度和消耗也越来越大，并且成像处理和定标校正获取的模型和参数与传感器的耦合，只能以一星一议的方式实现，无法多星一体化实现。如何在传统方法的基础上，构建观测数据到精准图像产品的深度学习网络结构，设置面向不同应用的图像优化指标体系，以大量历史数据和标注结果作为输入，实现网络结构对传感器物理模型和参数的精确重构和逼近，形成基于人工智能技术的多星一体化遥感图像精准处理能力。

遥感数据时空处理与分析方面，多时相影像相比单一时相的遥感影像，能够进一步展示地表的动态变化和揭示地物的演化规律。然而，一方面受限于遥感自身的时间分辨率与空间分辨率之间的不可兼得；另一方面受气象、地形等成像条件的影响，光学传感器获取的遥感影像往往被云层及其阴影覆盖（特别是在多云多雨地区，如我国西南地区），而难以获取真实的地面信息。这样的数据缺失，严重限制了遥感影像的应用；特别是对于多时相影像的遥感应用（如森林退化、作物生长、城市扩张和湿地流失等监测），云层及其阴影所导致的数据缺失将延长影像获取的时间间隔、造成时序间隔不规则的问题，加大后续时间序列处理与分析的难度。因此，进行遥感影像的时间与空间维度的处理与分析对提高遥感影像数据的可用性、时间序列分析水平和遥感应用的深度广度具有重要意义。

遥感目标要素分类识别方面，遥感数据中一般包含大量噪声，大多数现有的处理分析方法并未充分利用计算机强大的自主学习能力，依赖的信息获取和计算手段较为有限，很难满足准确率、虚警率等性能要求。如何在传统的基于人工数学分析的方法基础上，结合人工智能方法，定量描述并分析遥感数据中目标模型失真和背景噪声干扰对于解译精度的影响机理，是遥感智能分析面临的另一项关键科学问题。通过该问题的分析与发展，有望实现构建一个基于深度学习的多源遥感数据自动化分析框架，在统一框架下有机融合模型、算法和知识，提升遥感数据中目标要素提取和识别的智能化水平。

遥感数据关联挖掘方面，随着遥感大数据时代的到来，我们可以更方便地获取高分辨率和高时间采集频率的遥感数据，对于目标信息的需求，也由目标静态解译信息，拓展到全维度的综合认知与预测分析。为了满足上述需求，基于海量多源异构遥感数据，实现时间、空间等多维度的信息快速关联组织与分析，是未来遥感解译技术发展的重要方向。

遥感开源数据集和共享平台方面，大多数现有数据集仍然存在数据规模较小、缺乏遥感特性的问题，并且现有深度学习平台难以有效支撑遥感特性及应用，领域内数据集算法模型的准确性、实用性、智能化程度也待进一步提高。如何结合遥感数据特性，建设更具遥感特色的开源数据集和共享平台，是遥感智能生态建设的一项重要研究内容。本文主要围绕上述五个方面的研究，论述遥感智能分析技术的发展现状、前沿动态、热点问题和未来趋势。

2 国际研究现状

2.1 遥感数据精准处理

利用智能手段开展数据预处理技术，国外将智能技术用于遥感数据（光学、SAR、光谱）配准、校正等的工作。

1.1.1 光学/SAR 精细化处理

遥感图像为遥感应用分析提供了数据基础，可广泛应用于农林监测、城市规划、军事侦察等领域，遥感数据质量是决定其应用性能的关键。评价遥感数据质量的指标包括图像时间/空间分辨率、图像幅宽、空间特征、光谱特征、辐射几何精度等。高质量遥感影像具有高分辨率、高信噪比等特点。提升遥感影像质量的方法可大致分为两类，一是改进传统成像算法聚焦得到高质量图像；二是将已有的低质量的图像通过去噪去云以及超分辨率重建等技术得到高分辨率高质量图像。与传统的 SAR 成像算法比较，基于深度学习的 SAR 成像算法可以简化成像过程。Rittenbach 等人（2020）提出 RDAnet 神经网络从原始雷达回波数据训练聚焦得到 SAR 图像，网络经过训练可以匹配距离多普勒算法的性能，算法将 SAR 成像问题处理为监督学习问题，RDAnet 是第一个基于深度学习的 SAR 成像算法。Gao 等人（2019）提出了一种基于深度网络的线谱估计方法，并将其应用于三维 SAR 成像，大大加快了成像过程。Pu（2021）提出了一种深度 SAR 成像算法，减少了 SAR 的采样量，并且提出了一种基于深度学习的 SAR 运动补偿方法，可以有效地消除运动误差的影响。仅依赖遥感卫星载荷能力推动图像分辨率提升，使得高分辨率图像成本大幅提高，给遥感图像大规模应用力带来困难。以超分辨、图像重构等为代表的图像级和信号级处理方法为遥感图像分辨率和质量提升提供了另一种可行的技术途径。Wei 等人（2021）提出了基于 MC-ADM 和基于 PSRI-Net 的两种参数化超分辨率 SAR 图像重建方法，根据预先设计的损耗，深度网络通过端到端训练来学习，可应用于得到高质量 SAR 超分辨率图像的参数估计。 Luo 等人（2019）提出了一种基于卷积神经网络的 SAR 图像超分辨率重建的方法，针对浮点图像数据采用深度学习对 SAR 图像进行重建，可以更好地重建 SAR 图像。针对非生成对抗网络在光学遥感图像超分辨重建以及噪声去除中出现的信息损失和对比度降低的问题，Feng（2020）提出了利用生成对抗网络对小波变换域光学遥感图像进行超分辨重建以及噪声去除的方法。Xiong（2021）提出了一种适应于遥感图像超分辨的改进超分辨率生成对抗网络 (Super-resolution GAN, SRGAN)，增强了模型在跨区域和传感器的迁移能力。Bai 等人（2021）提出一种改进的密集连接网络遥感图像超分辨重建算法。 Dong 等（2020）提出了一种改进的反投影网络实现遥感图像的超分辨率重建。Tao（2020）提出了一种以 DPSRResNet 作为其超级解析器的 DPSR 框架的遥感图像超分辨重建算法。Yang 等（2020）提出了一种多尺度深度残差网络(MDRN)用于从遥感图像中去除云。Wang 等（2021）构建了 SAR 辅助下光学图像去云数据库,建立了基于条件生成对抗网络的 SAR 辅助下的光学遥感图像去云模型,实现了 SAR 辅助下光学图像薄云、雾、厚云等覆盖下地物信息的有效复原与重建。

目前，人工智能在遥感数据处理和图像质量提升方面的应用主要得益于机器学习技术的引入。基于 GAN 网络的方法试图利用生成器克服原始高分辨率遥感图像难以获取的问题，另一些无监督的学习方法则通过学习图像质量退化前后关系试图获取原始的高分辨率遥感图像。由于迁移学习可以从其它域样本中获得先验信息，并且在目标域中进一步优化，借鉴迁移学习和零样本学习的思路可以尝试解决遥感图像质量提升的问题。由于作用距离远，遥感图像分辨率和清晰度相对于自然图像仍有一定的差距，这导致遥感图像细节丢失相对较为严重。

为了从遥感图像中获取更为丰富的信息，需要对遥感图像空间特征进行提取（注意力机制、局部-全局联合特征提取等），需要对遥感图像目视效果进行可视化增强（边缘增强、小波变换等）。此外，面向图像细节特征解译的需求，还需要对遥感图像中的弱小目标和细微结构进行检测、提取和增强（弱小目标检测等），提升遥感图像中细节缺失造成的信息损失。

1.1.2 光学/SAR 定量化提升

可见光、SAR、高光谱等遥感图像的定量化提升主要体现在几何、辐射、光谱、极化等几个方面，通过寻找稳定点来消除成像过程中产生的畸变，改善图像质量，使数据产品能够定量化反映地物的真实信息，以达到定量化提升的效果。在国际主流研究中，神经网络技术主要被应用在提升图像匹配精度方面，并以此带动几何定位精度定量化提升。得益于机器学习方法的引进，遥感图像匹配技术获得了系统性发展，匹配精度获得了显著进步。典型的两种方法为局部特征点匹配方法和区域匹配方法。与全局特征相比，局部特征点与遥感图像获取的大场景松耦合，对大场景的仿射变化、辐射/亮度变化噪声水平不敏感。目前，基于特征点匹配的遥感图像质量提升技术取得了一系列研究成果。典型的特征点匹配包括关键点检测和描述子提取两个部分。深度学习应用于局部特征点匹配可以分成三个阶段，形成了三类代表性方法。第一类方法重点关注和解决关键点检测问题，即如何检测得到特征点的方向、位置、以及尺度信息。关键点检测中响应图的构建是重点，关键点检测的数量和准确性依赖于特征准确、信息丰富的响应图。 Savinov 等人（2017）提出了无监督学习的神经网络训练方法，该方法首先将遥感图像目标像素点映射为实值响应图，进而排列得到响应值序列，响应序列的顶部/底部像素点即可以视为关键点。Ma 等人（2019b）采用由粗到细的策略，先用一个卷积神经网络计算近似空间关系，然后在基于局部特征的匹配方法中引入考虑空间关系的匹配策略，同时保证了精度和鲁棒性。第二类方法重点关注和解决描述子提取问题，即用一组特征向量表示描述子，描述子代表了特征点的信息，可以通过端到端训练获得描述子。描述子训练是获得高精度匹配结果的关键。Simo-Serra 等人（2015）提出了 Deep-Desc 特征点描述子提取方法，该方法中神经网络采用了 Siamese 结构（Chopra 等, 2005），构造了一种 128 维的描述子，应用于具有一定差异性的图像对匹配问题，通过比较描述子欧氏距离对图像间描述子的相似性进行衡量。第三类方法关注于联合训练关键点检测模块和描述子提取模块。关键点检测和描述子提取两个模块的协同工作和联合训练是该方法重点解决的难点。Yi 等人（2016）提出了基于 LIFT 网络的联合训练，是最早解决关键点检测和描述子提取的联合训练的网络之一。 LIFT 网络的输入是以 SIFT 特征点（Lowe, 2004）所在图像块，LIFT 网络的关键点检测效果也与 SIFT 算法类似，鲁棒性较好。Ono 等人（2018）提出的 LF-Net，采用 Siamese 结构训练整个网络，通过深层特征提取网络产生特征图。Shen 等人（2019）以 LF-Net 为的基础，提出了基于感受野的 RF-Net 匹配网络，该网络实现关键点检测时保留了遥感图像低层特征、部分保留了遥感图像高层特征，在描述子提取中采用了与 Hard-Net（Mishchuk 等, 2017）一致的网络结构。与局部特征点相比，区域特征对整体性表征更加完整，对区域形变、区域变化等的稳定性更好。传统区域特征匹配技术的代表为模板匹配方法。深度学习应用于区域特征匹配形成了两类代表性方法。第一类方法的核心思想是用分类技术解决匹配问题。Han 等人（2015）利用 MatchNet 提取图像区域特征，将三个全连接层得到特征的相似性作为输出，对输出采用概率归一化处理(Softmax)进行分类匹配。Zagoruko 等人（2015）重点解决了对光照变化、观测角度具有很好适应性的区域特征提取问题，提出了基于 DeepCompare 网络的区域特征提取方法，该方法的匹配性能对于不同时间空间获取的遥感图像具有极佳的稳定性。第二类方法的核心思想是构建合适的描述子解决区域特征匹配问题。Tian 等人（2017）提出了一种 L2-Net网络的区域匹配方，该网络生成了128 维的描述子，在迭代次数较少的约束下，利用递进采样策略，对百万量级的训练样本进行遍历学习，并通过额外引入监督提高学习效率，该网络泛化能力较好。

可见，深度学习网络的引入在特征提取、关键点检测和描述子提取等多方面优化了遥感图像匹配能力。考虑到深度学习网络的持续研究，网络结构、训练方式的更新和进步有望进一步提升遥感图像匹配精度，基于深度学习的遥感图像匹配算法仍然具有相当的研究价值和应用前景。

除了几何质量定量化提升外，还有少数研究学者开展了利用神经网络技术在辐射、光谱、极化定量化提升方面的研究工作。杨进涛等人（2019）提出了一种基于海量 SAR 数据进行地物散射稳定特性的分析与挖掘，并成功在普通地物中找到一种统计意义下稳定的散射特征量用作定标参考，从而为 SAR 系统的常态化辐射定标奠定初步的技术基础。 Jiang 等人（2018）考虑到极化观测过程中会受到多种误差的影响，造成极化测量失真，影响数据的极化应用性能，提出一种利用普遍分布的地物进行串扰和幅相不平衡的定量评价方法，该方法不受时间和空间限制，能够实现大量数据极化校正性能的实时、便捷评估，对极化数据质量进行长期监测。和几何定量化提升不同，神经网络技术在这些领域还没有大量的、深入的应用，为后续进一步进行系统性、规模化研究提供了指导方向。

1.2 遥感数据时空处理与分析

近年来，陆续开展多源遥感时间与空间协同处理与分析方面开展研究工作，力求实现多源数据间互补协同、融合重建，提高遥感时空分析的能力

1.2.1 遥感影像时间序列修复

研究人员构建了大量的时间序列遥感影像修复和重建的方法。根据修复所用参考数据的不同，这些方法大致可以分为三类：基于影像本身的修补方法（self-complementation-based）、基于参考影像的修补方法（reference-complementation-based）和基于多时相影像的修补方法（multi-temporal-complementation-based）。基于影像本身的修复方法利用同一影像上无云/影覆盖区域的数据来修补被云/影覆盖区域的缺失数据；假设影像中数据缺失区域与剩余区域具有相似或相同的统计与几何纹理结构，通过传播局部或非局部无云区域的几何结构来重建云/影区域的缺失数据。依据空间插值与误差传播理论，缺失像素插值（missing pixel interpolation）、影像修补（image inpainting）和模型拟合（model fitting）等多种方法被广泛应用于云影区域的数据重建。虽然能够重建出貌似真实的影像区域，但这些方法对云/影覆盖下地物的类型非常敏感，其修补数据也不适用于进一步的数据分析；并且由于不确定性和误差随着传播而积累，这些方法很难修复大区域或异质缺失数据。为了克服基于影像本身修补方法的瓶颈，Chen 等人（2016）提出了通过模拟参考影像与云/影覆盖影像之间映射与转换关系的基于参考影像修补方法；这类方法依赖于不同光谱数据之间的强相关性，利用多光谱或高光谱影像中对云不敏感的光谱波段来重建被云 /影覆盖区域其他波段的缺失数据。比如利用 MODIS 数据的第七波段来修复第六波段的数据缺失、利用 Landsat 近红外波段来估算水面区域的可见光波段、利用 MODIS 数据预测 Landsat 影像的缺失数据和利用不受云雨干扰的合成空间雷达数据来重建被云影覆盖的光学数据等。尽管参考影像能够提供云影覆盖区域的缺失信息，但这类方法仍然受到光谱一致性、空间分辨率和成像时间相关性等限制，而难以重建出高质量的用于模拟地表变化的时间序列数据。前两种方法受限于其对重建影像没有渐进变化的假设，这种平稳性假设将成为土地覆盖变化和作物生长监测等时间序列应用中的明显弱点。遥感卫星以固定的重复周期来观测地表，同一区域又不可能总是被云影覆盖，因此很容易获得同一区域的多时相影像。这些同一区域的多时相影像（有云/影覆盖的和无云/影覆盖的）提供了利用多时相影像修复云/影覆盖区域缺失影像的可能（Chen 等, 2011）。基于多时相影像的修补方法包括两个主要步骤：查找有云/影覆盖区域和无云/影覆盖区域相似的像元（pixel）或区域（patch）和利用相似的像元（区域）预测云/影覆盖区域的缺失数据。在查找相似像元中，Roy 等人（2008）深入研究并集成空间、光谱和时相等信息来度量有云/影覆盖区域和无云/影覆盖区域像元的相似性。在重建云/影覆盖像元中，Gao 等（2017）提出和发展了诸如多时相直接替换、基于泊松方程的复制、时空加权插值等方法；同时也吸纳用于修复传感器条带修复的方法，如近邻相似像元插值（neighborhood similar pixel interpolator， NSPI）（Zhu 等, 2011）和加权线性回归（weighted linear regression，WLR）等。近年来，深度学习方法也被运用于云影覆盖影像的修复和重建；Grohnfeldt 等人（2018）利用生成对抗网络（generative adversarial networks）来融合合成空间雷达数据和光学影像生成无云影像；Malek 等人（2017）利用自动编码网络（autoencoder neural network）来构建有云影覆盖区域和无云影覆盖区域影像的映射函数；Zhang 等人（2018a）利用深度卷积网络（deep convolutional neural networks）集成光谱、空间和时相信息来修复缺失数据。

虽然现有研究取得了不错的重建效果，但仍存在一些局限性：(1)相对于光谱和空间相似性，多时相影像中的时间趋势能更详细地反映地表覆盖变化，而以往方法（尤其是传统方法）中的简单线性回归或光谱、空间度量很难捕捉复杂的非线性时间趋势； (2)现有的利用深度学习的重建方法多集中运用空间卷积网络 CNN 获取光谱和空间纹理信息（且需要大量的训练样本），少有研究使用循环神经网络 RNN 学习跨影像的时间趋势；(3)由于云/影总在不确定的影像区域和不确定的时间上出现，像元级的时间序列难以保证多时相影像的时间间隔相等与时相对齐，加大了现有方法进行时间序列重建的难度。

1.2.2 多源遥感时空融合

遥感图像融合研究可大致分为两个阶段。第一阶段主要集中于全色增强算法研究，即通过融合来自同一传感器的全色波段和多光谱波段进而生成高分辨率的多光谱图像。这类算法研究较多，已形成较为成熟的系列算法。第二阶段则是多源多分辨的时空融合算法研究，即通过融合高空间分辨率遥感数据的空间分辨率特征和高时间分辨率遥感数据的时间分辨率特征，进而生成兼具高时间和高空间分辨率的遥感数据。这类研究从最近十几年才发展起来，仍处于快速发展阶段，研究成果相对较少，但是对遥感数据的应用具有重要意义。时空融合算法研究最早出现在 2006 年美国农业部 Gao（2006）的研究中。其在 Landsat ETM+和 MODIS 数据地表反射率的融合中提出一种时空自适应反射率融合模型(Spatial and Temporal Adaptive Reflectance Fusion Model，STARFM)，可融合生成具有和 Landsat ETM+数据一样空间分辨率的逐日（和 MODIS 数据时间分辨率一样）地表反射率数据。此后，系列基于 STARFM 或其他理论框架的融合算法相继被提出。当前的时空融合算法根据其融合原理可大致分为三种：基于解混、基于滤波和基于学习的方法。基于解混的方法，通过光谱替换的方式生成融合图像。基于滤波的方法，待预测像元值通过对其一定邻域内光谱相似像元的加权求和获得。而基于学习的方法（Huang 等, 2012; Song 等, 2012），首先通过学习待融合传感器图像之间的映射关系，然后将先验图像的信息融入融合模型最终生成融合图像。基于学习的时空融合研究起初多在 MODIS 和 Landsat 这两类遥感图像上。如针对这两类数据的融合，Song 等人（2012）提出基于稀疏表示的时空反射融合模型。该模型在已知两对 MODIS 和 Landsat 图像对差分域中学习它们的映射关系，形成字典对信息。而因为两者图像的空间分辨率存在较大差异，作者设计了两层融合框架，使得基于稀疏表示的方法大大提高了融合精度，但字典对中存在扰动的问题一直不可忽视。Wu 等人（2015）通过引入误差边界正则化的方法到字段对学习中解决了扰动问题。近年来，因深度卷积神经网络在各类图像领域表现出良好性能，Song 等人（2018）提出基于卷积神经网络的遥感图像时空融合算法(Spatiotemporal Satellite Image Fusion Using Deep Convolutional Neural Networks，STFDCNN)。他们的模型分两阶段进行学习，首先学习降采样 Landsat 图像（low spatial resolution，LSR）与 MODIS 图像之间的非线性映射关系；其次学习 LSR Landsat 图像与原始 Landsat 图像之间的超分辨率映射关系。通过这两阶段学习模型实现对遥感图像中丰富细节信息的利用。尽管 STFDCNN 模型在时空融合性能上大幅度超过其他融合算法，但因其神经网络层数较少（仅有 3 个隐藏层），如此浅层的卷积神经网络对存在较大空间尺度差异的不同卫星传感器数据（MODIS-Landsat）间的非线性映射关系的学习仍是有难度的。因此，当前如何处理两类传感器数据（MODIS-Landsat）之间的空间差异变化，以及如何确定深度卷积网络的最优层数和卷积核数目仍旧是卷积神经网络时空融合算法研究中亟待解决的问题。此外，Kim 等人（2016）在超分辨重建研究中，通过利用残差网络结构得以训练一个深度的卷积神经网络模型，这对后续遥感图像融合研究具有一定启发。

1.3 遥感目标要素分类识别

经典遥感要素分类与识别方法一般为“单输入单输出”的模型架构，面向不同目标要素、不同模态数据或不同分类识别任务时，通常设计不同的专用网络模型。而我们实际面临的应用场景中，常会有不同模态的数据供我们使用，并给出多种类型的决策结果，例如，人类的感知系统会结合听、说、看等多种输入，并给出目标的位置、属性等多种信息。而传统的模型架构难以实现这种“多输入多输出” 的能力，主要问题在于，一是传统模型对新场景、新任务的适应能力不足；二是模型对各类数据的特征提取过程相对独立，难以实现不同数据的特征共享从而实现性能增益；三是在多输入多输出情况下，传统模型的简单叠加会导致计算和空间复杂度的显著上升，限制其实用能力。为了解决上述问题，当前的主流发展方向是多要素目标信息并行提取，通过在网络模型中探索多模态数据、多任务多要素特征的共享学习，在降低模型复杂度的同时提升其泛化能力。

1.3.1 典型遥感目标要素提取

传统的遥感目标要素提取方法面向不同目标要素时，通常设计不同的专用的方法流程。这种流程设计主要解决两类问题，一是针对遥感数据本身的特征/特性分析，为构建适合数据特征/特性的模型提供依据；二是适合遥感数据特点的专用网络模型构建，即以通用的网络模型为基础，构建符合遥感数据特点的模型，改进通用模型在遥感数据中的应用能力。遥感数据的获取过程中存在诸多与自然场景图像不同的影响因素，如电磁波散射特性、大气辐射特性、目标反射特性等，因此对于数据的上述特性的分析和表达是构建有效模型的基础。Kusk 等人（2016）和 Hansen 等人（2017）通过对 SAR 成像时地形、回波噪声等要素进行建模，实现基于 3D CAD 对不同类型地物要素的 SAR 图像仿真。Yan 等（2019）通过对舰船等目标进行三维模型构建，从而生成仿真的目标点云数据。Ma 等（2019a）提出了一种包含生成和判别结构的网络模型，通过对抗学习实现样本表观真实性的增强。Zhan 等（2017）和 Zhu 等（2018）提出了一种针对高光谱影像分类的生成对抗网络模型。Zhang 等（2018b）设计出一种基于条件模型的生成对抗网络，用于遥感图像中飞机目标的精细仿真。Yan 等人（2019）则基于点云数据在三维空间上进行船舶模型构建，并利用正射投影变换将模型从模型空间投影至海岸遥感图像上进行仿真数据生成。为了进一步提升仿真对象和遥感背景间的适配性，Wang 等人（2020b）则进一步提出利用 CycleGAN 对仿真的飞机目标和背景进行自适应调整，设计了一种用于目标检测任务的建模仿真数据生成框架。在地物要素分类任务上， Kong 等人（2020）则利用 CityEngine 仿真平台的批量建模特性，首次探索在广域范围内进行城市级别的场景建模，并发布了一套用于建筑物分割的遥感仿真数据集 Synthinel-1。面向遥感数据特点的专用网络模型设计方面，主要结合遥感图像中目标旋转、多尺度、目标分布特性等特点，针对性设计网络结构来提升专用模型性能。Zhou 等（2018）设计了一种源域到目标域数据共现特征聚焦结构，提升高光谱图像的语义分割效果。Luo 等（2018）针对高光谱图像语义分割中存在的类内特征分布差异，提出了一种均值差异最大化约束模型。Rao 等（2019）设计了一种自适应距离度量模型，提升高光谱图像地物要素的分类精度。 Kampffmeyer 等（2016）针对地物要素数量、空间分布差异大的问题，提出了一种结合区域分组与像素分组的模型训练策略，用于国土资源监测任务。 Liu 等（2017）针对遥感目标尺度差异大的特点，提出基于沙漏网络的多尺度特征增强模型，提升光学遥感图像的分类精度。Marcos 等人（2018）提出了基于旋转卷积构建的多源数据提取网络，通过编码图像的旋转不变性特征在多个数据集取得了先进的结果。Peng 等人（2020）基于注意机制和密集连接网络有效融合 DSM 数据和光谱图像并获得了更好的分割效果。Hua 等人（2021）提出了特征和空间关系调节网络，利用稀疏注释，基于无监督的学习信号来补充监督任务，显著提升了语义分割的性能。随着遥感图像分辨率的提升、网络深度的增加、参数的堆叠带来性能的提升，与之相伴的是庞大的模型、巨量的参数和缓慢的算法效率。考虑到星上遥感数据实时处理对计算资源、存储资源的限制，一些工作尝试在保留算法高性能前提下，减少模型参数，提高算法运算速度。Valada 等人（2019）利用分组卷积的设计思想提出了一种高效的带孔空间金字塔池化结构，用于高分辨遥感图像地物要素提取。提出的方法能够减少 87.87%的参数量，减少 89.88%每秒浮点运算次数（floating-point operations per second, FLOPS）。Zhang 等人（2019b）基于深度可分卷积设计了一种面向合成孔径雷达图像的船舶检测算法的特征提取网络，大大提升了检测速度，相比于轻量化前的网络检测速度提高了 2.7 倍。Cao 等人（2019）利用深度可分卷积设计了一种用于提取数字表面模型数据的结构，该网络结构无需预训练模型仍可以快速收敛，将网络训练时间降低 50% 以上。Wang 等人（2019b）提出一种轻量级网络 MFNet，实现对高分辨率航拍数据的地物要素分类任务的高效推理，相比于轻量级网络 ResNet-18，提出的网络在分类精度提升的同时，将参数量减少了 40%，推理速度提高了 27%。Ma 等人（2020）针对灾后损毁评估任务，以 ShuffleNet v2 模型为基础，设计了一种轻量化建筑物提取模型，相比传统模型，在精度提升 5.24%的同时，速度提高 5.21f/s。上述方法通过结合遥感目标要素特点，通过提出专用网络结构或特征提取方法，提升传统模型针对遥感数据的应用能力。然而，对于不同类型数据、不同特征/特性，仍缺乏统一的网络结构进行表征，因此多要素信息多任务并行网络和模型仍需进一步研究。

1.3.2 多要素信息并行提取

多要素信息并行提取方法的研究，主要集中于探索如何在一个统一模型中实现多类遥感地物要素目标的类别、位置等属性信息的高精度获取。如前所述，针对这种典型的“多输入多输出”场景，现有方法重点针对多模态输入数据的特征表示和多任务输出特征的共享融合两方面问题开展研究。特征共享研究方面，根据模型共享参数实现方式的区别，现有方法可大致分为硬参数共享（ hard-parameter sharing ）和软参数共享（soft-parameter sharing）两种。硬参数共享方法利用同一个模型实现在输入和输出端的多任务分支模型特征共享融合。Liebel 等（2020）面向城市建设状况分析任务，将多个任务共享同一编码器，并分别解码输出，实现同时输出建筑物位置和深度信息。Papadomanolaki 等（2019）将地物要素重建模型融合到分类模型中，并约束分类模型训练，来提升分类效果。Khalel 等（2019）则在同一个网络模型中同时嵌入图像锐化与地物要素分类两类任务的模型。Rosa 等（2020）设计了一种面向农业生产状况监控的多任务全卷积回归网络。软参数共享方法直接将针对不同任务的多个独立网络通过参数加权连接，实现多类任务的共享输出。Volpi 等（2018）将条件随机场拟合结果与图像同时作为数据，构建类内相似度和边界值预测的两个分支模型，改善地物要素分类结果。Zhang 等（2019a）提出了面向极化 SAR 多通道数据的地物要素分类方法，利用独立的特征提取网络对幅值和相位信息分别建模，利用分类器进行联合约束训练，来提升精度。Shi 等（2020）针对高光谱图像的多类要素分类任务，利用多任务集成学习实现通道选择，获取最优通道组合。针对多模态数据的联合特征表示，如图像纹理特征、三维高程特征、目标要素矢量拓扑特征等，能有效提升各类任务的性能。Chen 等（2019）针对洪灾区域检测任务，提出融合多时相的多模态图像的模型，来提升其检测精度。Fernandez 等（2018）将 SAR 图像和多光谱图像作为输入，进行无监督的地物要素分类。Benson 等（2017）在森林冠层三维高度估计任务中，提出利用光谱特性数据的方法，能有效改善传统三维估计方法的精度。

1.4 遥感数据关联挖掘

1.4.1 数据组织关联

随着遥感大数据时代的到来，对海量多源异构遥感数据的挖掘与关联分析变得至关重要。通过将多源遥感影像建立关联，进而从时间、空间等维度进行数据隐含特征的挖掘与分析应用，可以有效提升遥感大数据的价值。 2012 年，国际对地观测组织（Group on Earth Observation, GEO）提出了一套数据共享框架体系。其在全球范围内建立一个对地观测资源的集成平台，该平台被广泛应用于农业、气候、能源、健康、水资源、天气等多个领域（白玉琪等, 2013）。此外，美国联邦地理数据委员会（Federal Geographic Data Committee,FGDC）创建了美国国际空间数据基础设施(National Spatial Data Infrastructure, NSDI)，设计了一种地理空间互操作的参考框架，实现了位置参考信息和更宽泛的信息集和之间的无缝整合。

1.4.2 专业知识图谱构建

针对如何从认知的角度实现各类数据的有效关联与分析，部分学者从地理空间认知的角度出发，通过构建地理知识图谱理解实现多源信息的语义理解。目前，基开放街道地图(OpenStreetMap，OSM) （Haklay 等, 2008）的系列图谱以及基于 YAGO2 （Hoffart 等, 2013）的系列图谱等地理知识图谱被广泛使用。人们利用 OSM 数据和资源描述框架 (Resource Description Framework，RDF)数据模型转换方法，构建了 LinkedGeo-Data（Auer 等, 2009），实现了网络数据的空间信息自动标注。部分学者提出一种新的 OSM2KG（Tempelmeier 等, 2021）链路发现方法，在 OSM 节点和知识图谱中构建等价地理信息实体之间建立身份链路。此外，还有部分学者提出了 CrowdGeoKG（Chen 等, 2017）方法，该方法首先提取 OSM 中不同的地理信息实体，再通过 Wikidata 中的人文地理信息来补充信息。YAGO2 基以 Wikipedia、GeoNames 和 WordNet 为信息源进行构建，其中包含约 980 万个实体，其中实体、事实和事件都锚定在时间和空间中。一些学者利用几何图形（如直线、多边形等）实现地理空间信息的扩展表示（Karalis 等, 2019），该地理知识图谱以官方的行政区划信息和来 OSM 数据集为数据源。部分学者提出了基于形式化的地理知识表示框架 GeoKG，解决了离散知识表示方法难以表示地理状态、演变的问题（Wang 等, 2019a）。此外，为实现图谱关系优化和关系分配，Yuan 等（2020）在实体识别、关系嵌入等步骤基础上，提出了一种面向生物医学领域的，基于非结构化特定上下文的知识图谱构造方法。Zhao 等（2020a）提出了一种文档主题信息自动提取模型，能够自动识别文档标题、状态、会议、组织等文档主题信息。此外，部分学者（Piplai 等, 2020）通过相似实体融合，提出了一种针对行动报告的信息抽取方法，用于构建网络安全知识图谱。Dessì 等（2021）结合监督学习和无监督学习，提取研究出版物中的实体和关系，并以三元组的形式集成到知识图谱中。

1.5 遥感开源数据集和共享平台

1.5.1 遥感领域开源数据集

目前，国际上的遥感解译样本数据主要是针对不同的解译任务而构建的，主要包括场景分类数据集、遥感目标检测数据集、地物要素提取数据集、变化检测数据集等几类，涵盖了光学、SAR 等传感器数据。场景分类指的是根据遥感图像的场景内容，对图像进行分类，将其标注为某个特定的场景类别。国际上，常见的开源数据集有加州大学发布的 UCMerced Land Use 数据集（Yang 等, 2010），该数据集包含 21 类土地利用的图像数据集；有美国路易斯安那州立大学发布的 SAT-4 和 SAT-6 数据集（Basu 等, 2015），涵盖来自美国的 330,000 个场景图像；还包括来自德国人工智能研究中心的 EuroSAT 数据集（Helber 等, 2018），包含来自 Sentinel-2 卫星的 27,000 张遥感图像。遥感目标检测是指通过检测算法确定图像是否包含一个或者多个预定类别的目标，并提供目标的位置信息。国际上常见的遥感图像目标检测数据集有 DLR-MVDA 数据集（Liu 等, 2015）、SpaceNet 数据集（Van Etten 等, 2018）和 XView 数据集（Lam 等, 2018）等。DLR-MVDA 数据集是德国航空航天中心(DLR)遥感技术研究所发布的车辆检测数据集； SpaceNet 是由亚马逊等多个国际组织联合发布的一系列目标检测数据集，涵盖道路检测、建筑检测等多个任务。xView 是由美国国家地理空间情报局构建的一套多类目标识别检测数据集，它包含来自世界各地复杂场景的图像，图像分辨率为 0.3 米，具有 60 类不同类别的目标。遥感图像地物要素提取任务是指为遥感图像中的每一个像素分配类别标签，实现像素级的预测。国际摄影测量与遥感协会发布的 ISPRS 数据集提供了两个机载数据集，该数据集包含 Vaihingen 和 Postdam 两个城市 6 类地物要素标注结果。Vaihingen 是一个相对较小的村庄，里面主要是分布着一些独立的、小型的建筑物。而 Postdam 是一座拥有大型建筑、密集居民区的历史名城。两个城市的数据具有不同的建筑风格，给地物要素分类任务带来了一定的挑战。变化检测是从不同时期的遥感数据中定量分析和确定地表变化的特征与过程。OSCD 数据集（Daudt 等, 2018）包含 2015 年至 2018 年之间从 Sentinel-2 卫星拍摄的 24 对多光谱图像。区域涵盖世界各地（巴西，美国，欧洲，中东和亚洲）。对于每个位置，均提供了 Sentinel-2 卫星获得的 13 个波段的多光谱卫星图像的配准对。图像的空间分辨率在 10m，20m 和 60m 之间变化。在 SAR 图像样本集方面，美国为了解决“SAR 图像目标识别技术”全美多个研究团队积极参与协作，提出了一个小型 MSTAR 数据集（Ross 等, 1999），该数据集包含 40 多类车辆目标，每个车辆有 72 个不同视角和 360 度范围内不同方向的样本。德国 EADS 建立的 DOSAR 样本集（Hoffmann 等, 2002）包含 26 幅 X 波段 SAR 图像和 521 张红外图像。

1.5.2 开源平台、社区和竞赛

开源是一种面向全球的大规模协作工作模式，它以开放共享、合作共赢为宗旨，有效地推进了全球化进程。目前，已有越来越多的国际组织致力于建设开放共享的交流平台/社区，吸引来自全球各地的研究者共享成果。全球知名代码托管平台 GitHub 上的开发者数量已经达到了 7300 万，涵盖了数十种语言、框架和领域，成为世界上最大的代码托管平台。Kaggle 是由联合创始人、首席执行官安东尼·高德布卢姆 2010 年在墨尔本创立的，主要为开发商和数据科学家提供举办机器学习竞赛、托管数据库、编写和分享代码的平台。OCP 已经成为全球最大的硬件开源社区之一，制定了数据中心基础设施领域的诸多开放标准。Stack OverFlow 作为全球最大的技术问答网站之一，主要面向编程人员，提供一个技术交流的平台。为促进对地观测领域学术发展和成果转化，国际学术组织也在积极致力于举办各种学术竞赛。IEEE GRSS 数据融合大赛（Data Fusion Contest）由 IEEE GRSS 数据融合技术委员会（DFTC）组织，自 2006 年以来已举办 5 届，旨在评价现有方法在利用多源传感器数据解决实际问题方面的能力。DIUx xView 挑战赛中给定高分辨率的卫星图像，任务是为图像中的每个对象预测边界框。随着遥感技术的发展，计算机视觉领域的国际顶级会议组织也在积极推动遥感领域的学术进展，国际计算机视觉会议 ICCV 和 CVPR 都开设了遥感领域的 Workshop，以促进深度学习技术在遥感领域的发展。SpaceNet-7 挑战赛聚焦于遥感变化检测技术的应用，竞赛任务要求参赛者使用已建立的多目标跟踪准确性指标跟踪建筑物的建设进度，从而直接评估城市化程度。

2 国内研究进展

2.1 遥感数据精准处理

传统遥感数据精准处理技术需要根据光谱和电磁信号在“天-地”链路中的传播模型，建立地表物理信息与观测数据的关联关系，从而构建逆向模型，利用数据处理技术将观测数据重新映射为地表物理信息。传统方法受到各类误差的影响，图像清晰度、聚焦质量有所退化，辐射、几何等定量化特征精度也有所下降。高质量遥感影像在气象、灾害以及军事等诸多方面有着广阔的应用前景。实际成像条件下，大气扰动、目标运动、场景变化、成像系统硬件限制等诸多因素，都制约着遥感图像的获取质量。实际图像往往表现出光学模糊、运动散焦、系统噪声、欠采样等图像质量退化，使得分辨率、信噪比等遥感图像关键指标难以得到有效保障。深度学习网络可以实现去云去噪以及超分辨率重建，获得高质量的遥感图像。王军军等（2021）提出了一种新的生成对抗网络，该网络通过端到端训练，对光学遥感图像去云，将清晰的光学遥感图像从原始含云图像中恢复出来。郭保（2021）使用目前在计算机视觉领域效果较好的生成对抗网络方法实现了遥感图像去云模型。张意等（2021）结合注意力机制、残差自编码器结构和感知损失，提出了一种新的基于残差自编码器的遥感图像去噪网络（ARED-VGG），将注意力机制应用于图像去噪，可以进一步使得网络更加专注于图像的重要特征以及细节信息。李盛等（2021）提出增强少样本学习方法解决模糊核未知时的超分重建问题。张艳等（2021）针对遥感图像超分辨率重建算法特征利用率低、重建速度慢等问题，提出一种基于多路径特征融合的遥感图像超分辨率重建算法，提高了重建效率。刘明等（2020）结合生成对抗网络提出了一种新的基于自然感知的端到端单向特征提取的去雾方法。李玉峰等（2021）提出了一种新的基于深度学习网络的光学遥感图像去雾方法，该方法可以有效去除遥感图像中由于雾霾导致的清晰度下降问题，有效提升了遥感图像在雾霾天气状况下的清晰度。去云去噪以及超分辨率重建等技术可以有效获得高质量的遥感图像，为遥感应用提供了良好的数据基础。利用机器学习技术进行遥感图像去云去噪和超分辨率重建面临着以下挑战：遥感图像难以配准；低频信号易模糊；模拟退化模型与实际退化模型不符合等等。将深度学习等人工智能技术引入遥感图像质量提升是近几年最被关注的研究热点。我国也一直重视利用人工智能技术开展相关研究工作，和国际研究现状类似，主要研究进展集中在图像匹配方面。郭正盛等人（2019）通过寻找最大稳定极值区域 (Maximally Stable Extremal Regions, MSERs)，实现遥感图像关键点检测，并根据关键点进行图像特征截取和匹配。廖明哲等人（2020）融合了两个通道分别生成的感受野递增的浅层特征和表征能力更强的高层特征，得到包含有丰富信息的特征图，用于提高遥感图像的匹配效率。王少杰等人（2021）将高斯差分图像 DoG 与 VGG 网络组合起来，构成一个新网络，基于新网络提取特征图描述特征点，提取高斯差分图像中的极大值点作为待配准特征点，对两幅图像特征点的匹配相似度进行计算。岳国华等人（2021）使用仿射变换网络对遥感图像进行空间变换，批量生成训练图像，将特征提取和匹配放在卷积神经网络的端到端架构中，直接预测仿射变换参数；通过采用校正网络对卷积神经网络的结果进行改进，实现遥感图像更加精确的配准。张洪群（2017）提出了基于深度学习的遥感图像半监督检索，提高了检索速度和准确性。苏燕飞（2018）研究了 CNN 网络中的全连接层特征、以及不同聚合大小的卷积层特征，并利用上述特征实现了图像配准。陈恒实（2020）提出了空间变换网络和灰度投影相结合的遥感图像配准方法，利用区域约束移动最小二乘法和卷积神经网络实现了遥感图像精确配准。刘宇雁（2021）提出了一个生成对抗邻域表征网络来替代人工选取图像块表征的策略，并在二通道网络中设计了一个多层融合网络来解决部分冗余点背景相似导致被误认为内点的问题。将卷积神经网络成功应用于图像配准，使得图像配准技术又开拓了新的思路。但是针对一些复杂图像，比如配准图像有较大的缩放、旋转变换时，很难实现图像间精准配准。此外，当计算图像融合特征时，两个特征的权重是固定的，在一定程度上限制了数据和方法的适用范围。

除了几何定量化提升，辐射、极化定量化提升方面也逐渐渗透了一些神经网络思想，但尚未形成体系研究。刘李等人（2017）基于长期辐射定标场辐射测量数据的积累，通过对定标场实测数据和遥感图像的映射学习，建立出定标场表观反射率模型，预测传感器待成像时刻的定标场表观反射率，得到遥感图像的绝对辐射定标结果。上官松涛等（2021）利用结合统计计算和深度神经网络方法，实现了基于星载极化 SAR 大数据的极化稳定特征提取，据此完成了极化失真定量化估计。杨进涛等（2019）利用深度神经网络提取建筑物统计特征，据此完成基于建筑物的无场化辐射定标和辐射质量定量化评估。基于神经网络等人工智能方法进行遥感数据定量化提升已经起步，仍需经过大量试验和长期探索系统性形成基于人工智能的遥感数据定量化提升能力。

2.2 遥感数据时空处理与分析

伴随着国家“高分专项”计划的实施与无人机技术的飞速发展，我国已经初步构建了空天地一体化的对地观测网络，生产出多源、多模态、多时空分辨率、多专题的遥感数据。并且随着我国遥感科学与应用研究国际化程度的不断提高，国内的遥感研究几乎已经紧跟国际先进水平，并在某些领域引领研究潮流。在遥感数据时空处理与分析方面，一方面保持着对国际研究进展的紧密跟随与并跑，另一方面保持国家应用的特色。

2.2.1 紧跟或领跑国际研究

在深度学习等智能计算快速发展的背景下，借鉴深度学习在自然图像或医学图像的时空处理与分析算法（如超分辨率重建、视频预测等），遥感数据的时空分析研究能快速迁移并适用。加上我国遥感研究基础较好，往往能快速复制并超越国外研究水平。如 Zhang 等人（2018a）借助卷积神经网络构建了通用的时间—空间—光谱联合的数据重建框架，用于修复云影遮挡、传感器故障等引起的数据缺失； Zhou 等人（2020）利用 Sentinel-1 微波数据与 Landsat 数据之间的时序转换关系，提出了用微波数据辅助光学影像重建的时间序列修复方法。

2.2.2 保持中国特色

随着“将论文写在祖国大地上”思想的深入人心，在遥感数据时空处理与分析方面，国内的研究更加关注于国内区域、国产卫星数据和国家实际应用需求。在研究范围上，一方面保持着全球视野，另一方面快速开展国内区域的适用和优化。随着国产卫星数据的不断丰富，数据源也逐步转换到国产的 GF-1、GF-2、GF-6、ZY-3 等卫星数据。紧跟国家高质量农业发展的思路，面向精准农业应用，开展地块尺度的精细遥感农业应用（Sun 等, 2019）。

2.3 遥感目标要素分类识别

得益于深度学习强大的特征表达能力，国内研究学者同样开展了典型地物要素提取的相关工作，基于遥感数据的多光谱、高地物复杂度、高类间相似和类内差异性等特点构建专用的方法和策略。杨建宇等人（2019）利用遥感图像的光谱和空间特征信息基于 SegNet（Badrinarayanan 等, 2017）对遥感图像中的农村建筑物覆盖区域进行提取。类似地，考虑到编码器-解码器结构在训练数据较少情况下的有效性和鲁棒性，研究人员（徐昭洪等, 2019; 苏健民等, 2019）改进了网络结构，并成功应用到建筑物分割和地物要素分类中。针对编码器结构中特征分辨率降低，有效感受野不足以及语义上下文信息较为薄弱地问题，一些学者针对性进行了相应地研究工作。廖旋等人（2019）在遥感序列图像和多视角图像地地物要素提取问题中，提出将图像的分割先验与模型深层特征相融合的策略,解决序列图像前/ 背景的分割歧义和分割一致性问题。洪亮等人（2020）基于面向对象图像分析方法，引入了局部方差准则，通过对全局分割和局部分割融合处理解决遥感图像的多尺度分割。遥感任务往往存在较高的关联性，例如，地物要素分类任务与边缘检测任务以及高度估计任务和表面法线估计任务等。不同任务的特征分布和类间差异可以对相似任务提供一定程度上的促进作用，因此，基于多任务集成方法被用来提升遥感目标要素分类识别的性能。多任务集成方法源于多任务学习，针对地物要素的编解码结构，Wang 等（2020a）使用共享编码器从遥感图像中提取特征，然后构建不同的局部独立的解码器结构实现地物要素的分类、边缘提取与深度估计等，此外，边缘提取的结果也用于辅助其他任务的正则化约束。Zhang 等（2016）面向具有多个光谱通道的高光谱图像，通过探索其光谱通道之间的相关关系，并将相邻通道的相似性约束用于不同类任务的模型训练，来提升高光谱图像中目标的检测精度。Li 等（2015）针对图像中超像素的生成和分类，利用多个不同任务的互补特征，提升超像素的分类精度。考虑到遥感数据通常包含多种数据源信息，多模态数据中丰富的特征在大图幅遥感场景应用范围下的目标要素分类任务中能够带来有价值的信息。因此，研究遥感图像中多种不同模态数据的特征提取同样成为了一个重要的研究方向。多模态学习的关键问题是如何对多模态的数据和特征进行有效的联合学习。Mou 等人（2018）基于迭代的密集连接编解码卷积神经网络提取多光谱数据和激光雷达数据实现准确的边界推断和要素分类。Peng 等人（2020）提出基于注意机制和密集连接网络有效融合数字表面模型信息和光谱图像并获得了更好的分割效果。 Zhao 等人（2020b）分别用两个不同的编解码网络提取光学和红外影像的分割预测结果并融合，实现了对最终预测精度的进一步优化。此外，一些方法提出在不改变原有模型的基础上，引入辅助的数据或先验信息作为额外的监督信息，在新的学习阶段与原有学习阶段产生的结果进行融合，以进一步改善模型的性能。例如，Sun 等人（2018）利用卷积神经网络获取多光谱数据的初次分割结果后，引入数字表面模型信息，作为额外的空间信息，以多阶段联合学习的方式进一步细化初次分割的结果，最终得到更加精细化的分割效果。

2.4 遥感数据关联挖掘

2.4.1 数据组织关联

各类遥感数据由于位置、尺度等差异，在各种投影坐标系统和球面格网系统中会存在显著的不同。不同数据集在多样化的空间参考框架下，难以在空间上进行关联，给统一时空框架下各类数据的关联分析带来困难。针对上述问题，Wu 等人（2013）提出了一种地球系统空间格网（Earth System Spatial Grid, ESSG）的概念，实现多源数据在多空间参考、多尺度等条件下的关联。Deng 等人（2015）提出了一种基于全球剖分网格 GeoSOT 的多源遥感数据空间关联方法，该方法同时考虑了遥感数据本身的特性与 GeoSOT 剖分网格所具有的无缝无叠、多尺度的特性，根据剖分网格将遥感数据块做统一的划分和组织，从而实现多源遥感数据的结构化关联。

2.4.2 专业知识图谱构建

专业知识图谱通常用于辅助各种复杂的分析应用或决策支持，高精度的知识图谱有利于帮助应用取得更好地效果。面向特定应用领域的专业知识图谱中实体通常属性复杂，其重点在于如何更精确的识别、提取和关联特定领域的实体。 Sun 等人（2018）基于最大熵模型实现对中文命名实体的抽取。传统机器学习算法对中文实体识别存在准确率低、泛化能力差的问题。为此，Wang 等人（ 2019 ）将基于转换器的双向编码表征 (Bidirectional Encoder Representations from Transformers， Bert)和神经网络相结合，基于大规模未标注预料预训练模型提出了一种新的命名实体识别方法。Wang 等人（2016）将深度置信网络运用于中文商务领域，提出了一种自动提取知识实体及其相互关系的方法。在企业领域实体识别中，数据集规模往往较小。Yang 等人（2021）在实体识别任务前进行了词嵌入预训练，实现了面向企业动态风险构建知识图谱的功能。Zhou 等人（2021）提出了一种基于 Bert 预训练模型的全连接和卷积神经网络，面向教材和百度百科中的初中数学知识数据构建了知识图谱。知识图谱也可以应用于自然灾害应急任务当中，Du 等人（2020）对灾害应急中的事件、应急任务、灾害数据、模型描述方法等核心元素进行了归纳与定义，设计了一种自然灾害应急知识图谱构建方法。

2.5 遥感开源数据集和共享平台

2.5.1 遥感领域开源数据集

随着人工智能技术在遥感领域的深入发展，国内相关的高校和科研机构陆续构建了一批高质量的遥感图像解译数据集。在场景分类领域，越来越多高分辨率场景分类数据集相继被提出。AID（Xia 等, 2017）是 2017 年由武汉大学发布的遥感图像分类数据集。其中包含 10000 幅图像，空间分辨率为 0.5-8 米，涵盖 30 类地物要素，每类要素包括 220-420 幅图像。 NWPU-RESISC45（Cheng 等, 2017）是 2017 年由西北工业大学发布的遥感场景分类数据集，包含约 31500 幅图像，空间分辨率为 0.2-30 米，涵盖 45 类地物要素，每类月 700 幅图像。在遥感图像目标检测领域，NWPU VHR-10 数据集（Cheng 等, 2014）于 2014 年由西北工业大学发布，包含 10 类常见的地物目标。该数据集共包含 800 幅高分辨率遥感图像，目标标注方式为水平框标注。西北工业大学发布另一个较大规模的是 DIOR 数据集（Li 等, 2020），DIOR 数据集包含 23463 个图像和 192472 个实例，覆盖 20 个常见目标类别。数据集中图像大小为 800×800 像素，空间分辨率为 0.5m-30m，标注方式依然为水平框标注。武汉大学发布了包含 15 类目标的 DOTA 数据集（Xia 等, 2018），包含从 Google Earth 在内多个平台上采集的图像，图像的尺寸为 800-4000 像素不等，标注方式为带方向的旋转框标注方式。高分辨率 SAR 舰船检测数据集（AIR-SARShip）（Xian 等, 2019）发布 3000 余幅图像，图像分辨率包括 1m 和 3m，成像模式包括聚束式和条带式，极化方式为单极化，场景类型包含港口、岛礁、不同等级海况的海面，目标覆盖运输船、油船、渔船等十余类近千艘舰船。以上数据集都是针对通用目标检测提出的数据集，为推进高分辨率遥感图像解译算法由检测定位向精细分类发展，近期，中国科学院空天信息创新研究院牵头，联合厦门大学、德国卡尔斯鲁厄理工学院等国内外高校，发布了面向目标细粒度识别的大规模遥感图像数据集 FAIR1M（Sun 等, 2021），数据集标注的实例数量超过 100 万，目标实例涵盖了来自全球百余个城市、乡村、机场、港口等场景中各种角度、尺度的典型目标。在地物要素提取方面，GID（Tong 等, 2020）是一个用于土地利用和土地覆盖分类的数据集，包含来自中国 60 多个不同城市的 150 幅高质量图像，覆盖面积超过了 5 万平方公里。iSAID 数据集（Waqas Zamir 等, 2019）是由武汉大学发布的包含 15 类地物要素标注的数据集。此外，还有针对于水体、建筑等单类典型目标提出的数据集。 2.5.2 开源平台、社区和竞赛数据集的发展有效促进了国内学者科研技术的发展，各个方向上都涌现出了大量优秀的算法。为了将这些优秀的算法成果发挥出更大的价值，国内科研院所和机构积极推动开源平台和开放竞赛的建设。 OSGeo 中国中心是地理空间领域开源的技术、数据、知识共享平台，其链接了多个科研项目网站，同时网站上还集成了大量的在线科学计算工具，包括地理、测绘、电力、物理、化学、环境、大气、农业、机械、建筑等。在科研创新方面，依托武汉人工智能计算中心的算力，武汉大学打造了遥感专用框架 LuojiaNet，针对大幅面、多通道遥感影像，在整图分析和数据集极简读取处理等方面实现了技术突破。在竞赛方面，“天智杯”人工智能挑战赛、“昇腾杯”遥感影像智能处理算法大赛、全国人工智能大赛、高分遥感智能解译大赛等国内研究机构举办的比赛也在如火如荼的开展。其中，由中科院空天院联合 IEEE GRSS 和 ISPRS 两个国际学术组织举办的高分遥感图像解译大赛（Gaofen Challenge）已经面向国际开放参赛，五年间吸引来自全球 20 多个国家的 3000 余队伍参加，推动创新人才培养和科研队伍建设，促进了高分领域技术交流合作和应用转化。

3 国内外研究进展比较

3.1 遥感数据精准处理

基于人工智能开展遥感图像精细化处理研究，研究思路大致分为两类，一是改进传统成像算法，基于深度学习的 SAR 成像算法可以简化成像过程，得到高质量聚焦图像；二是将已有的低分辨率的遥感图像通过基于机器学习的超分辨率重建技术得到高分辨率高信噪比图像。国外已经开展了基于深度学习改进遥感图像成像算法方面的研究工作，国内相关研究工作开展较少，更多研究工作集中在遥感图像超分辨率和高质量重建方面。在超分辨率重建方面，国内和国际上解决思路和研究途径基本一致；在去云去雾去噪方面，国内结合星载光学实际数据开展的工作相对更为丰富。深度学习等人工智能方法具有很好的特征提取和特征表达能力，基于深度学习网络实现特征提取和特征描述，进而定量化提升遥感图像几何精度已经成为主流研究思路，国内外学者研究思路和进展基本一致。受传统特征检测器启发，基于卷积神经网络的特征提取在全监督、半监督和无监督环境下提取特征点。这种优势在遥感图像配准精度提升方面具有很大的潜力。但是，基于深度学习的方法也面临一些亟待解决的新问题。比如无监督学习中多时相场景存在成像条件差异大等难点 (尺度变换、灰度变化、局部畸变和噪声影响等)，在有限数据集支撑下很难全面解决上述难点。针对这一问题，国外学者提出了一个以孪生网络为基础的框架，从目前研究进展来看，基于该基础框架有望解决困难条件下遥感图像匹配问题，并在次基础上拓展出更多的成果。

3.2 遥感数据时空处理与分析

受益于深度学习的快速发展于国产遥感对地观测体系的逐步建设，国内的遥感数据时空处理于分析已经紧跟甚至在某些领域超越国际水平。然而，从遥感时空处理与分析的数据源来说，国内的相关研究也表现出独有的特色。（1）遥感数据源的质量；受卫星传感器设备成像水平与卫星平台定轨定姿水平的限制，国产卫星数据的几何定位和辐射光谱质量均低于国际水平，这给后续的数据时空处理与分析带了更大的挑战。（2）遥感数据的时相；相对于国际卫星(如 Landsat 与 Sentinel 系列)，国产卫星往往难以保持相对稳定的重返周期，造成多时相遥感数据时间间隔的混乱；（3）遥感时空处理与分析的场景；从农业应用场景来说，面向我国西南山地复杂耕作环境与多云雨天气条件,我国作物生长监测对时空重建数据要求更高的时空分辨率。这些条件都在一定程度上制约了智能遥感算法在国产遥感数据上的适用，但不可否认的是其也促进了国内遥感时空处理与分析水平的提升。

3.3 遥感目标要素分类识别

随着深度学习的发展，对遥感目标要素分类识别提出了更高的要求。遥感大数据场景下，获取数据的载荷手段更加丰富，但不同类型载荷获取的数据其成像机理、特征分布、表观特性等差异显著，且遥感探测手段覆盖范围广、场景复杂、地物要素类别多样、目标尺度差异大、表观特征变化复杂，导致不仅不同类别目标的特征差异大，同类目标在不同载荷数据中呈现的特征也差异明显。典型的地物要素提取方法，包括遥感数据和要素特性分析方法和遥感专用模型构建方法，存在着较大的局限性，已经无法满足当前遥感目标要素分类识别的要求。目前，国内外均展开了对多要素信息并行提取方面的相关研究，相比国外研究工作，部分国内相关研究工作开展了基于国产遥感数据的研究，并取得了不错的成果。此外，现有方法或模型的创新思路主要依赖数据、模型简单叠加或融合，难以从根本上解决多要素联合学习的问题，发展基于多目标多任务特征共享的遥感目标要素分类识别方法，成为了国内外研究学者的研究热点。

3.4 遥感数据关联挖掘

国内外研究现状表明数据关联技术已然被主要应用在机器理解和大规模异构信息语义集成与互操作等领域方面。领域知识图谱在部分专业方向取得了较为成功的研究成果和应用，但在遥感应用领域，领域知识仍存在着系统化不足、结构化表示困难等问题，同时在深度推理和灵活性也存在着一定的阻碍。尽管当前基于遥感数据、全球化专题图的研究效果越来越好，数据仍存在着被零散应用，仅用于特定区域的特定专题，无法构成知识体系，无法实现知识积累、更新和优化等一系列问题。 3.5 遥感开源数据集和共享平台在开源数据集方面，在深度学习发展初期，国外的遥感开源数据集相对来说发展更快，但基本也是围绕一些较基础的任务，目标类别及传感器类型较单一。随着国内科技的发展，西北工业大学、武汉大学、中科院空天院等高校/科研机构也积极致力于开源数据集的建设，在目标类别、任务类型、样本规模等方面持续创新。在共享平台方面，国内外积极推进科学技术成果的应用转化，致力于建设开放、共享的解译平台，打通人工智能技术在该领域从学术研究、系统研发、成果应用到持续改进的完整应用链路，实现产学研协同推进的良好遥感智能生态环境。此外，国内的研究机构也在积极将国产化技术引入开源平台中，打破国外技术垄断现象。

4 发展趋势与展望

4.1 遥感数据精准处理

随着近几十年遥感卫星的蓬勃发展，遥感数据精确处理技术迎来了高速发展，光学和微波遥感数据成像处理和定标校正的精度大幅提高，图像产品分辨率提高 1 个数量级、幅宽提高 1-2 个数量级、几何定位精度优于 10 米、辐射精度优于 1dB（微波） /10%（光学）。然后，基于精确模型和参数测量的方式仍需要耗费大量的人力物力和时间成本，一星一议的处理和定标模式制约了协同应用能力提升。现有技术探索验证了通过人工智能技术实现高精度遥感数据处理的可行性，通过构建与成像数据获取和误差影响机理相适应的神经网络，通过大量历史数据和标注结果训练学习，正向/逆向逼近地物物理信息和成像数据特征之间的映射关系，并通过结果循环迭代实现网络模型与传感器状态的动态一致、实现图像质量的持续提升。

4.2 遥感数据时空处理与分析

随着智能计算于遥感大数据技术的发展，遥感数据时空处理于分析的发展区域主要集中体现在以下几个方面：（1）多源多模态遥感数据的协同分析；遥感大数据提供了丰富的数据源，这些数据往往具有不同的时间、空间、波谱等优势，如何发挥多源数据的联合优势，是当前遥感时空分析的重点发展方向。（2）对遥感机理的探究；当前智能计算方法多源于统计学习领域，因此其对遥感辐射传输机理的探究和利用相对较少，这在一定程度上限制了方法性能的提升；因此加强对遥感过程的理解与模拟，将遥感机理融入智能计算过程将提升遥感时空处理与分析的能力。

4.3 遥感目标要素分类识别

现有的研究工作虽能一定程度上实现在同一模型框架中同时提取或解译对多类地物要素，然而其本质上仍主要以提升时间或空间代价，来提升模型对于多类要素的泛化能力。在实际应用中面临的多载荷、多要素、多任务联合解译场景中，我们所面临的问题更加复杂，因此探索新的模型框架和特征表征方式，尤其是针对多任务、多模态一体化联合学习成为未来遥感目标要素分类识别领域的发展趋势。

4.4 遥感数据关联挖掘

机器理解和大规模异构信息语义集成与互操作等应用场景不断证实遥感影像数据挖掘具有广阔的应用前景。但存在的一些问题仍有待进一步研究： ①如何直接从数字图像上建模数据挖掘模型，在空间图形和图像数据上实现一体化的管理及操作势在必行。②随着新型遥感卫星的增多,卫星数据也相应持续增多。同时用户在海量的卫星数据中寻找需要的数据会耗取大量的时间。如何基于内容快速查询检索,从而提供高效的可视化数据挖掘环境显得十分重要。③遥感数据具有诸多特点，使用单一技术对其进行处理可能存在知识漏缺的风险。因此在对遥感数据分析时，尽可能的融合多种不同空间数据挖掘技术对遥感数据进行分析有利于解决漏缺隐含知识的难题。④“维数灾难”现象阻碍了高维数据的索引及聚类的发展。对于大规模高维空间而言，应开发自适应无参数的聚类算法，而不是人为确定聚类算法的输入参数。同时通过高效的索引技术来提高空间数据的处理效率也极为重要。

4.5 遥感开源数据集和共享平台

当前，随着计算机视觉领域的兴起，遥感领域的开源数据集和共享平台也快速发展起来。相比于自然场景，遥感数据具有其独特的属性。多分辨率、多要素、多时相、多传感的特性使得遥感图像智能解译更具有挑战性。因此，在了解空天大数据特点的基础上，构建适合本领域的智能模型、方法和解译系统，是充分发挥空天大数据效益的有效途径。未来要继续依托于这些独特属性，做更适合遥感的数据和平台。

专知便捷查看