时空基础模型全面综述

摘要—时空数据在交通、气象、能源等诸多现实世界领域中日益增长。时空深度学习模型旨在利用这类数据中的有用模式，支持预测、补全、异常检测等任务。然而，传统面向特定任务的一对一深度学习模型通常需要针对每个用例单独训练，导致计算和存储成本显著增加。为了解决这一问题，近年来出现了一对多的时空基础模型，它们提供了一个统一的框架，能够同时解决多种时空任务。这类基础模型通过在时空数据中学习通用知识，或迁移预训练语言模型的通用能力，取得了显著成功。尽管已有综述分别探讨了时空数据和方法，但对基础模型的设计、选择、预训练与适应过程尚缺乏系统性的审视。因此，时空基础模型的整体流程仍不清晰。为弥补这一空白，本文创新性地从流程视角出发，系统回顾了现有的时空基础模型。我们首先介绍了不同类型的时空数据，随后详述了数据预处理与嵌入技术。在此基础上，提出了一个新颖的数据属性分类体系，根据数据来源与依赖关系对现有方法进行划分，从而为研究者提供高效有效的模型设计与选择参考。随后，我们进一步阐述了原始模型的训练目标以及迁移模型的适配策略。总体而言，本文构建了一个清晰且结构化的流程框架，有助于理解时空基础模型各核心要素之间的联系，并为研究者快速入门提供指导。此外，我们还介绍了时空基础模型领域中如多目标训练等新兴研究机遇，为研究人员和实践者提供了宝贵的见解。

GitHub 仓库：https://github.com/LMissher/AwesomeSpatio-Temporal-Foundation-Models 关键词—基础模型，时空数据，预训练，适应方法。

一、引言

时空数据正持续从交通、能源和气象等多个现实世界领域中产生。这类数据天然地展现出随时间演化的复杂时间特性以及跨区域的空间交互关系【1】。多种形式的时空数据（如轨迹数据、交通数据和视频数据）在捕捉时空依赖关系方面面临共通挑战，需要专门的技术方法以有效提取其内在关联。挖掘与分析这些时空关联对于构建智能系统至关重要，使得现实应用能够在规划、推理、异常检测等基础任务中辅助决策。

近年来，随着深度学习的发展，基于专用模型的一对一时空数据挖掘取得了显著进展。这些方法主要依赖于顺序建模和空间建模的神经网络能力，如循环神经网络（RNN）【2】、Transformer【3】、卷积神经网络（CNN）【4】以及图神经网络（GNN）【5】。然而，面对多样化的应用场景与任务类型，往往需要训练大量任务专属模型，带来了巨大的计算资源消耗和存储成本。幸运的是，随着自监督学习策略的提出以及“缩放定律”（scaling laws）【6】的发现，基础模型（Foundation Models）在自然语言处理和计算机视觉领域被设计出来，可以通过高效的少样本微调（few-shot）甚至无需训练的零样本提示（zero-shot prompting）来通用地解决多种任务【7】【8】。在自然语言处理领域的基础模型（如 ChatGPT）取得巨大成功之后，“一对多”的基础模型理念被引入到时空领域，成为一条颇具前景的研究路径。如图1所示，时空基础模型（Spatio-Temporal Foundation Models，STFMs）的目标是在单一的通用模型中学习通用的时空知识，从而应对多样化的任务与应用，显著降低对多个任务特定模型的依赖，减少训练与存储开销。通过扩大时空数据的训练规模，并利用通用的自监督学习目标来构建原始基础模型，或迁移其他领域（如 NLP）的预训练基础模型所具备的通用知识构建迁移型基础模型，现有的 STFMs 在多种任务中展现了优异效果，展现出统一框架推进该领域的巨大潜力。尽管 STFMs 已取得明显进展，但现有综述仍面临若干关键问题： 1. 数据与模型之间的联系薄弱：如表 I 所示，尽管已有综述对不同类型的时空数据进行了分类介绍，但往往忽视了数据对齐中的关键步骤（如嵌入技术），这使得时空数据如何有效对接基础模型变得模糊。 1. 缺乏数据属性视角：已有综述大多采用粗粒度的 STFMs 分类方式（例如基于数据类型或深度学习方法），但未解释为何相似方法被应用于具备共性的数据类型，忽略了从数据属性出发进行模型选择或设计的深入洞见。 1. 内容呈现零散：时空数据、基础模型、训练目标与迁移适应技术往往被孤立讨论，导致无法系统理解在不同任务、数据集与实际场景中应选用哪些模型、目标与策略。

为解决上述问题，本文从“流程视角”出发，系统性地审视 STFMs 的整体开发与应用流程，从数据对齐与模型构想到训练、适配再到实际应用，全面梳理工作流程。除了简要介绍时空数据与可用数据集外，如图2底部所示，我们详细说明了数据预处理、嵌入技术及多种时空数据类型的辅助信息，从而完成 STFMs 流程中的第一阶段：数据对齐。通过引入辅助信息与合适的预处理方式，可显著提升数据质量，进而增强模型性能。此外，时空数据独特的空间与时间依赖特性使其嵌入技术在与基础模型的对接中扮演关键角色，是连接原始数据与模型输入表示的重要桥梁。 STFM 流程的第二阶段是基于多样数据构建模型。为解决粗粒度分类带来的混淆，我们提出了一种新颖的数据属性分类体系（如图2中部所示）。在该体系顶层，我们将 STFMs 分为两类：原始模型与迁移模型，依据是否直接在原始时空数据上训练，或是否由其他领域（如语言或图像模型）迁移而来。此外，我们将原始模型按时间、空间、时空依赖进一步划分；迁移模型则根据模态分为视觉类、语言类与多模态类。该分类体系基于数据来源与依赖关系进行细粒度建模，便于模型设计与选择，并可扩展至其他数据类型。 STFM 流程的第三阶段聚焦于原始模型的训练目标与迁移模型的适配技术（如图2顶部所示）。我们对这些方法进行深入分析，强调其在不同数据类型、任务或应用场景下的优势与挑战。在流程的最后阶段，我们总结 STFMs 在现实世界中的典型应用，如能源、金融、气象、医疗、交通与公共服务等领域（图1所示），展示其广泛影响力。通过逐步明晰的流程式解析，本文不仅理清了 STFMs 的核心组成要素，也揭示了它们之间的深层联系，有助于模型的快速部署与高效落地。此外，表 I 显示，现有综述常常遗漏如关键数据类型、训练目标和适配技术等核心内容，导致对 STFMs 的理解不够全面。本文通过覆盖最全面的关键要素，提供了一种更具整体视角的理解框架。最后，我们还讨论了 STFMs 当前所面临的挑战与未来发展机遇。

本文的主要贡献总结如下：

全面且最新的综述：本文提供了当前最系统的 STFMs 综述，涵盖数据类型、模型、训练目标和适配技术等广泛内容。 * 创新的数据属性分类体系：我们提出了基于数据来源与依赖关系，从粗到细的 STFMs 分类方法，有助于高效模型设计与选择。 * 首次基于流程视角的综述：据我们所知，本文是首个从流程出发系统分析 STFMs 的综述，有助于理解模型为何表现优越、如何构建。 * 未来研究方向的识别：我们总结了 STFMs 当前应用中的关键挑战，并提出了未来研究的潜在机遇，激励后续更先进模型的发展。

文章结构如下：第二节回顾时空数据的对齐过程；第三节探讨原始基础模型的设计与训练目标；第四节深入分析迁移型基础模型的选择与适配技术；第五节介绍 STFMs 的典型应用场景；第六节识别新兴研究机会与开放挑战；第七节总结本文的关键内容。