遥感时空融合深度学习的十年演进：进展、挑战与机遇

硬件限制和卫星发射成本使得直接获取高时空分辨率遥感影像变得具有挑战性。遥感时空融合（STF）技术通过将高时效但低空间分辨率的影像与高空间但低时效分辨率的影像融合，解决了这一问题，从而高效地生成高时空分辨率的卫星影像。STF为地表变化监测、农业管理和环境研究提供了前所未有的观测能力。在过去十年里，深度学习（DL）方法通过强大的自动特征提取和非线性建模能力，彻底改变了遥感时空融合领域，在处理复杂的时空数据时显著优于传统方法。尽管基于深度学习的遥感时空融合技术迅速发展，但学术界缺乏对这一快速发展的领域的系统性综述。本文全面回顾了过去十年中深度学习在遥感时空融合中的发展，分析了关键研究趋势、方法分类、常用数据集和评估指标。文章讨论了现有研究中的主要挑战，并指出了未来有前景的研究方向，作为该领域研究人员的参考，激发新的研究思路。文中提到的具体模型、数据集及其他信息已收集于：https://github.com/yc-cui/Deep-Learning-Spatiotemporal-Fusion-Survey。

1. 引言

时空融合（STF）是一种基本技术，能够将具有不同空间和时间分辨率的数据融合，以生成具有增强时空特征的高质量影像。作为一种广泛适用的方法，STF在多个领域展现了其多功能性。在计算机视觉（CV）领域，STF通过有效地融合时空信息，在视频分析和动作识别中发挥着至关重要的作用，从而更好地理解视觉数据中的动态变化 [1]。在城市规划和交通管理中，STF使得不同时间和空间尺度的交通流量数据得以整合，促进了更准确的拥堵预测和城市交通系统的优化 [2]。在医学领域，STF通过应用于医学影像分析，帮助可视化肿瘤生长和疾病进展等动态过程，通过融合不同时间点的影像（例如CT和MRI扫描）实现 [3]。 在遥感（RS）领域，STF已经成为解决地球观测（EO）中空间分辨率和时间分辨率之间固有权衡问题的特别有价值的技术。如图1所示，遥感STF的核心挑战在于有效地将高时效但低空间分辨率（HTLS）数据与高空间但低时效分辨率（HSLT）数据结合，以生成既保持高空间特征又具有高时间分辨率的合成影像 [4]。这一能力对于各种地球观测应用至关重要，包括地表监测、环境研究和农业管理等。

时空融合中的矛盾是一个主要挑战，源于空间和时间维度的差异 [5]。例如，来自中分辨率成像光谱辐射仪（MODIS）等传感器的HTLS影像提供了频繁的时间快照，但空间分辨率较低。相反，HSLT影像提供高分辨率的详细空间信息，但由于更新频率较少，时间信息有限。由于这一固有矛盾，生成同时保持高时效和高空间分辨率的融合产品面临着重大挑战 [6, 7]。如图1所示，时空融合技术使得HTLS和HSLT数据能够协同工作，结合这两种数据类型，生成增强的产品，充分发挥两者输入源的优势，从而提升整体性能。 传统的STF方法可以根据其底层数学建模原理进行系统分类 [5, 8]，主要分为五大类：

基于贝叶斯的方法：贝叶斯信息

估计作为一种概率影像分析方法 [6, 9]。其中一些著名方法包括贝叶斯最大熵（BME） [10] 和统一融合模型 [11]。贝叶斯方法在环境分析中的动态复杂情形下尤其有用，如植被和气候变化监测。这些方法在影像降噪领域非常有价值，能够有效应用于需要详细情境感知的复杂环境场景 [12, 13]。 基于解混的方法：这些方法通过根据线性光谱混合理论将低分辨率像素解混成端元，估计高分辨率像素值 [13, 14, 15]。著名的模型包括MMT（多分辨率光谱匹配技术） [16] 等。尽管这些方法受限于异质区域中的线性假设，但它们对于子像素分析非常有用，尤其在多源遥感数据融合中 [9, 12, 17]。 基于学习的方法：这些方法旨在表示粗分辨率与精细分辨率图像之间的关系，通过从之前的观测中学习的模式预测最终的高分辨率图像 [18]。基于学习的方法建立了模拟不同分辨率图像之间关系的模型，捕获那些在最终图像中可能无法直接观察到的特征。这些方法能够有效处理具有与训练集相似特征的图像，自动从大数据集中提取特征 [19]。

基于权重函数的方法：这些方法通过使用加权函数将来自多个输入影像的信息结合，从而估计高分辨率像素值。显著的技术包括STARFM（空间和时间自适应反射融合模型） [20]、ESTARFM（增强STARFM） [21]、STAARCH（时空自适应反射校正高分辨率遥感影像） [22] 等。这些方法在同质区域表现良好，但在处理非线性变化或复杂地形时效果较差 [6, 13]。

混合方法：混合方法通过整合不同技术的优点来增强融合性能。例如，FSDAF [23] 结合了解混和权重函数方法的优势，处理复杂的时空数据，显著提高了融合精度和环境适应性，特别适用于高分辨率遥感影像处理场景 [9, 12]。

近年来，深度学习（DL）技术在遥感STF研究中的应用引起了广泛关注，这一趋势源于遥感技术与深度学习方法的快速协同发展 [23]。与传统方法相比，深度学习在特征提取、非线性建模和数据适应性方面具有明显优势。传统方法通常依赖于人工设计的特征，并假设简单的地表变化模式 [16, 24, 25]，而深度学习则能够通过大规模数据训练自动提取多层次的时空特征，有效解决复杂情境中的非线性关系问题。深度学习方法对数据噪声和缺失信息具有更高的容忍度，能够生成更稳定的融合影像，并更好地适应多源、多模态遥感数据融合的需求。这些特性使得深度学习成为推动时空融合技术发展的关键驱动力 [26, 27]。

本文系统回顾了过去十年中深度学习在遥感时空融合中的应用，突出深度学习方法的独特优势和发展潜力，同时分析当前的技术限制和未来的发展方向。图2提供了展示本综述结构的可视化框架。

1.1 深度学习在遥感时空融合中的研究趋势分析

为了直观地展示研究趋势和范围，我们对Web of Science (WOS)数据库中的相关文献进行了统计分析，通过两次高级检索收集了不同研究方法的数据，为探索该领域的演变和未来发展趋势提供数据支持。查询Q1用于筛选与深度学习、遥感和时空融合紧密相关的文献，具体检索主题为：（TS=remote sensing）AND（TS=spatiotemporal fusion）AND（TS=deep learning）。查询Q2的范围更广，未限于深度学习方法：（TS=remote sensing）AND（TS=spatiotemporal fusion）。为清晰起见，在WOS数据库中，TS表示主题搜索，指在标题、摘要、作者关键词和关键词加中搜索指定术语。基于这两个查询，我们选择了近期关于这些主题的文献，并进行了可视化分析（见表1和图3）。

图3显示了Q1文献的累计数量从2017年的1篇增长到2024年的121篇，Q1与Q2的比例从0.06增长到0.25。这表明，深度学习方法在时空融合领域的比例在过去八年里显著增长，突显了其作为该领域一个重要研究方向的崛起。

为了更全面地了解深度学习在时空融合中的研究热点，我们还基于所有收集的文献生成了关键词云，如图4所示，可以观察到高频关键词及其分布特征。关键词云显示，Landsat和MODIS是最常用的遥感数据源，突显了它们在时空融合研究中的核心作用。与深度学习相关的技术术语频繁出现，强调了它们在时空融合中的重要性。Deep和Models反映了深度学习模型在该领域的广泛应用，而卷积和GAN展示了卷积神经网络[28]和生成对抗网络[29, 30]的应用趋势。近年来，注意力机制和Transformer[31]模型逐渐成为时空融合研究的新趋势，这从相关词汇如Attention和Transformer中可见一斑。此外，关键词云突出了与遥感影像特征相关的关键研究领域，如Spectral和Pixels，强调了多光谱特征和像素级处理的重要性，而Land和Vegetation则反映了时空融合中关于土地覆盖和生态监测的研究方向。这个词云展示了深度学习在时空融合中的广泛应用以及新兴技术的快速发展，清晰地勾画出了该领域的研究框架和关键方向。

1.2 以往综述与范围

以往的综述在总结遥感时空融合领域的基础知识、技术发展和典型应用方面起到了重要作用 [6]。然而，大多数综述主要集中在传统的时空融合方法上，未全面涵盖深度学习在遥感时空融合中的最新进展 [26]。

之前的综述对遥感时空融合中的不同技术进行了总结和分类。Zhu等人[32]系统地回顾了多源遥感数据的时空融合方法，并提出了一个分类框架，包括回归方法、字典学习方法和物理模型方法等几大类，但未深入探讨深度学习方法的潜力。Li等人[12]专注于遥感数据的时空融合技术，并对不同模型进行了实验比较，但主要集中在传统的机器学习方法上，缺乏对近年来出现的深度学习模型的详细分析。Belgiu和Stein[6]提到了一些使用神经网络的研究，但未深入分析这些模型的结构、数据要求和应用场景。

尽管已有综述涵盖了时空融合的不同技术和应用场景，但现有的综述仍存在一些局限性。它们集中在传统方法上，缺乏对深度学习模型结构、创新和优势的系统总结 [6, 9]。此外，只有少数研究提到时空融合的公共数据集和评估指标，但未系统地整理常用的数据集、评估框架和相关的开源代码 [26]。最关键的是，近年来引入的许多新的深度学习模型尚未在现有综述中得到全面覆盖和讨论 [26, 32, 33]。

图片

1.3 我们的贡献 为了提供一个更加全面和系统的综述，深入讨论深度学习在遥感时空融合中的应用，我们完成了以下工作：

深度学习在遥感时空融合中的应用回顾。我们系统地回顾了核心深度学习模型及其在时空融合中的应用场景。通过对实际案例的分析，我们考察了这些模型在遥感影像重建、预测和增强方面的潜力。

提出分类框架和模型时间线。基于现有研究，我们构建了深度学习时空融合方法的分类框架，按网络架构进行分类，并通过时间线图展示了这些模型的发展轨迹。

总结常用数据集、评估指标和开源代码。我们整理了时空融合领域常用的公共数据集和评估指标，提供了比较分析，并列出了相关的开源代码库。

讨论技术瓶颈与未来机遇。我们分析了深度学习在遥感时空融合中面临的技术瓶颈，并探索了有前景的未来研究方向。

1.4 本综述的组织结构 为了帮助读者高效地浏览本综述，我们概述了本文的组织结构：第1部分介绍了基本概念、重要性、研究趋势、现有综述以及本文的主要贡献；第2部分回顾了最新的研究成果，包括基准数据集、评估指标和方法分类；第3部分讨论了主要的技术瓶颈和挑战；第4部分探讨了未来的研究方向和潜在应用；第5部分总结了关键点，并展望深度学习在遥感时空融合中的长期发展。

表2列出了本综述中常用的缩写及其解释，这些缩写涵盖了本领域研究中基础的各种方法、结构和应用场景。