国防科大最新《时空图神经网络》综述，24页pdf详述其在城市计算预测学习应用进展

随着复杂传感器和大型数据库技术的发展，城市系统中越来越多的时空数据被记录和存储。对这些时空数据的演化模式进行预测学习是城市计算中一个基本但重要的循环，可以更好地支持城市智能管理决策，特别是在交通、环境、安全、公共卫生等领域。**由于传统的统计学习和深度学习方法难以捕捉城市时空数据中的复杂关联，近年来提出了时空图神经网络(STGNN)框架。**STGNN通过整合图神经网络(GNNs)和各种时间学习方法，使复杂时空依赖关系的提取成为可能。然而，对于不同的预测学习任务，如何在STGNN框架中有效设计空间依赖学习模块、时间依赖学习模块和时空依赖融合方法，是一个具有挑战性的问题。**本文对城市计算中用于预测学习的STGNN技术的最新进展进行了全面的综述。**我们首先简要介绍了时空图数据的构建方法和stgnn中使用的流行深度学习模型。然后我们从现有文献中梳理出主要的应用领域和具体的预测学习任务。接着分析了STGNN框架的设计方法以及近年来与一些先进技术的结合;最后总结了现有研究的局限性，并提出了一些潜在的方向。

1. 引言

随着传感和数据流处理技术的快速进步，城市系统中越来越多的数据被高效地收集和存储，为城市计算时代的到来奠定了基础。城市计算旨在从大数据爆发的不同应用领域(如交通、环境、安全等)了解城市的模式和动态。根据城市计算理论[1]，基于这些海量城市数据的预测学习是最重要的循环，其中是智慧城市智能决策、调度和管理的基础。此外，城市大数据的可预测性也可以为数字孪生、元宇宙[2]等一些新技术的发展提供可能。

大多数城市数据是时空数据，即它们不仅与空间位置相关，而且随着时间的推移而变化。相关性和异质性是时空数据在城市系统[3]中普遍存在的属性。相关性是指数据不仅在时间维度上而且在空间维度上具有自相关性的属性;异质性是指数据在不同的时间或空间范围内呈现出不同模式的属性。为了更直观地说明时空异质性，我们在图1中给出了一个例子。如图1(a)所示，给定的城市网络中存在不同的区域，如住宅区、休闲区和商业区。图1(b)显示了不同区域在不同节点的人流统计情况。我们可以发现，虽然所有选取的节点都呈现出明显的峰值模式，但不同区域节点的人群流量统计存在较大差异。但是，在相同的区域，即使在不同的节点，如节点3和节点4，人群流量的统计也是相似的。由于这些复杂的时空特性，增加了特征工程的难度，一些在传统数据预测中表现良好的方法，如支持向量回归(SVR)[4]、随机森林(RF)[5]、梯度提升决策树(GBDT)[6]等，难以取得更准确的预测结果。**近十年来，由于深度学习技术的快速发展，一些基于卷积神经网络(CNN)[7]和循环神经网络(RNN)[8]的混合神经网络，如ConvLSTM[9]、PredRNN[10]等，逐渐被应用于城市时空数据的预测学习，并获得了显著的优势。**然而，这些方法最大的局限性在于无法直接从存在于非欧氏空间的数据中进行学习，如交通网络数据、传感器网络数据、语义网络数据等。

**近年来，以图为代表的深度学习技术神经网络(GNN)在非欧氏空间数据的表示学习方面取得了重大突破，为多样化和复杂的城市数据的预测学习奠定了基础。**考虑到一些典型城市数据的时空特性，如交通网络流量、环境监测数据等，之前的一些工作将图神经网络与各种时间学习网络相结合，以捕获空间和时间维度上的动态[3]。这种类型的混合神经网络架构被统称为时空图神经网络(STGNN)。通过过去五年的发展，时空图神经网络已经被广泛应用于城市计算的预测学习场景，包括交通、环境、安全、公共卫生、能源、经济等领域。基于谷歌学者搜索引擎，通过关键词进行精准搜索，统计近5年相关论文的发表情况。如图2所示，我们可以发现，关于STGNN的相关论文呈现逐年递增的趋势。2018年相关论文不足20篇，而2022年论文接近140篇。这一发展趋势表明，与STGNN相关的应用已成为近年来的研究热点。此外，过去五年的文献大多集中在预测性学习任务上。

相关调研近年来，关于基于STGNN的预测学习技术在不同领域的应用已经有了一些相关调研。Wang et al.[3]综述了截至2020年的时空数据挖掘深度学习方法，其中涉及到预测学习中的一些STGNN技术。之前的调查[11]-[13]都调查了应用于交通领域的STGNN技术。其中，[11]分析了多个实际问题，综述了城市交通系统中预测、检测和控制问题的相关工作。[12]和[13]重点介绍了STGNN在交通预测任务中的最新技术。工作[14]研究了生成式对抗技术在时空中的应用数据学习，包括一些与时空图数据相结合的方法。 我们的贡献与之前的调研相比，我们调查的贡献总结为:

据我们所知，这是第一个全面的综述，回顾了最近探索STGNN在城市计算中的预测性学习任务的工作。我们通过充分的文献，主要从应用和方法的角度回顾了STGNN的进展。

我们首先根据现有文献对STGNN在城市计算中的主要应用领域和特定预测学习任务进行了分类。此外，我们还整理了一些与之前关于STGNN的工作附带的公开数据集。

对STGNN的时间依赖学习、空间依赖学习和时空依赖融合方法进行了深入分析。我们还回顾了近年来一些流行的与STGNN结合的先进方法。

我们总结了STGNN为城市计算中的预测性学习任务所分享的一些挑战，并为解决这些具有挑战性的问题提出了一些未来方向。

本调研的组织本调研的其余部分组织如下。第二节介绍了时空图的构建。第三节概述了不同领域的各种预测性学习任务，这些任务可以通过STGNN来解决。第四节介绍了在STGNN框架中广泛采用的基本深度学习架构。第五节深入分析了STGNN框架的神经架构设计方法和一些可以结合的流行先进技术。第V节讨论了现有工作的局限性，并提出了未来的方向。最后，我们在第VI节中总结了这一调查。

时空图神经网络

在本节中，我们介绍STGNN的基本神经架构。如图7所示，用于预测学习的STGNN的基本框架包含三个主要模块——数据处理模块(DPM)、时空图学习模块(STGLM)和任务感知预测模块(TPM)。对于城市计算中的预测学习任务，DPM旨在从原始数据中构建时空图数据，STGLM旨在从复杂社会系统中捕获隐藏的时空依赖关系，TPM旨在将来自STGLM的时空隐藏表示映射到下游预测任务的空间中。STGLM是STGNN中最关键的部分，STGNN通常通过一定的时空融合神经架构将空间学习网络和时间学习网络有机结合。对于空间学习网络，谱图卷积网络(spectral GCNs)、空间图卷积网络(spatial GCNs)和图注意力网络(GATs)都可以作为选择对象。对于时间学习网络，循环神经网络(RNNs)、时间卷积网络(TCNs)和时间自注意力网络(tans)都可以作为替代方案。与STGLM相比，TPM是一个相对简单的神经网络，因此几乎所有现有工作都集中在STGLM中神经架构的设计上

改进的STGNN时空依赖学习方法

在第四节中，我们介绍了STGNN的基本神经架构，增强了对STGNN中时空学习泛化范式的理解。然而，近年来出现了许多前沿方法来改进时空依赖关系的学习。在本节中，我们总结并分析了最近STGNN模型中一些改进的时空依赖学习方法。

挑战和未来方向

我们研究了社会系统中预测学习的STGNN的应用，基本神经架构和最近的进展。虽然近年来STGNN模型取得了显著的性能，但仍有一些具有挑战性的问题有待解决，这些问题指向了潜在的未来研究方向。我们总结了这些挑战并提出潜在可行的研究方向如下:

缺乏可解释性: 到目前为止，绝大多数与stgnn相关的工作都专注于通过复杂的模型设计来提高预测性能。然而，关于模型可解释性的研究一直相对缺乏，即我们无法清楚地了解哪些时空特征在提高预测性能方面起主导作用。在最近的工作中，STNSCM[241]提出构建因果图来描述自行车流量预测，并分析时空特征与预测结果之间的因果关系。基于因果关系的时空图建模可能是增强STGNN模型可解释性的一个潜在方向。

缺乏校准方法: 不确定性量化对实际工业生产具有重要意义，它反映了对模型预测结果的信任程度。为了提高深度模型的可信度，需要适当的模型校准方法，近年来在图像识别[242]和图表示学习[243]中得到了广泛应用。目前仅有works[244]、[245]对STGNN模型的不确定性进行了研究，对标定方法的研究较少。STGNN模型的校准需要同时考虑空间和时间的特性，因此比以往的相关工作更具挑战性。

缺乏物理约束: 在之前的大多数工作中，STGNN模型通过深度神经网络的集成来捕获复杂的时空依赖关系，同时忽略了对不同应用领域物理约束的考虑，这使得模型在一些专业领域的认准度较低。近年来，虽然一些用于疫情预测的STGNN模型结合了专业微分方程作为物理约束[95]-[99]，但这样的工作仍然缺乏，在其他应用领域还需要改进。

缺乏预训练技术: 近年来，预训练技术在时间序列和图表示学习领域得到了很大发展，但在STGNN相关工作中相对缺乏。在最近的工作中，STEP[246]提出了一种结合掩码自编码器(MAE)[247]架构的预训练模型，以从非常长期的历史时空图数据中高效地学习时间模式。在未来，长程空间和长期时间学习的预训练技术是必要的，这对STGNN模型的可扩展性和可部署性有很大价值。

**分布转移的障碍: **时空数据，如道路网络上的交通流量，往往从不同的位置和时间段收集，导致训练集、验证集和测试集的分布存在显著差异。这可能会给STGNNs带来挑战，因为由于分布偏移，在一个数据集上训练模型可能在验证集和测试集上表现不佳，这类似于域适应中的分布偏移问题(在训练和测试阶段之间，输入和输出的联合分布不同)。尽管这一问题很重要，但在时空研究界受到的关注却较少。虽然一些研究[248]调查击败了时间序列中的分布变化，但它们未能编码位置之间的空间相关性。

**探索新的训练策略:**之前的研究主要集中在引入具有复杂层或模块的新型stgnn，以增强人类移动性分析。然而，另一个有希望的方向是研究新的训练策略。例如，在交通预测任务中，每个位置都被平等对待，属于这些位置的数据被联合送入神经网络。然而，对每个位置的时空相关性进行建模的复杂性可能会发生显著变化，需要一种新的训练策略，如课程学习。课程学习从更简单的数据开始，在越来越困难的数据上训练一个机器学习模型，并可能有效地解决这个问题。此外，STGNNs的其他潜在训练策略包括多任务学习、迁移学习和持续学习。通过探索新的训练策略，我们可以提高STGNNs的性能和精度，并使它们能够处理更复杂的任务。

**可扩展性问题:**设计高效的STGNNs的一个特别具有挑战性的案例是当传感器网络中的位置数量非常大时。例如，在PEMS系统中有超过10000个环路检测器。在这种情况下，需要开发STGNNs，在保持高预测精度的同时，能够高效地处理和分析网络产生的大量时空数据。在这种情况下，更高效的AI解决方案是值得赞赏的，例如通过模型修剪/蒸馏、图采样技术，或探索具有高效率的下一代AI模型。也有一些研究探索了无图方法[249]，以在扩展到大规模传感器网络时减少计算成本。

结论

本文对城市计算中用于预测学习的时空图神经网络(STGNNs)进行了系统的综述。我们首先从时空图数据的基本形式和构建方法入手，然后总结城市计算中不同应用领域的STGNNs所涉及的预测学习任务。接下来，我们从基本神经网络架构的角度出发，介绍构成STGNNs的空间学习网络和时间学习网络的基本组成部分，如图神经网络(GNNs)、循环神经网络(RNNs)、时间卷积网络(TCNs)、自注意力网络(SANs)、并总结了这些时空神经网络架构的基本融合形式。为了进一步追踪STGNNs近年来的前沿进展，我们以空间依赖学习方法、时间依赖学习方法、时空依赖融合方法等可结合的先进技术为主线，总结了相关的典型工作。最后，总结了当前研究面临的挑战，并提出了一些潜在的方向。