近年来,时空图神经网络(GNNs)因其能够捕捉变量之间以及时间点之间的依赖关系,而在时间序列分析领域引起了广泛关注。因此,本系统文献综述的目的是提供 GNNs 在时间序列分类和预测中的各种建模方法和应用领域的全面概览。我们进行了数据库检索,筛选出 150 多篇期刊论文,以详细审查该领域当前的最先进成果。本综述旨在向读者提供一个全面的模型集合,包含相关源代码链接、可用数据集、基准模型和拟合结果。希望这些信息能够为未来的研究提供帮助。据我们所知,这是首个系统文献综述,详细比较了当前时空 GNN 模型在不同领域的研究结果。此外,本综述的最后部分讨论了时空 GNN 应用中的当前局限性和挑战,例如可比性、可复现性、可解释性、信息容量不足和可扩展性。

近年来,图神经网络(GNNs)作为处理图结构数据的强大人工神经网络模型类别,受到了广泛关注。GNNs 尤其适用于数据自然表示为图结构的广泛实践和工程应用,如交通网络、图像分析和自然语言处理等应用。这一方法背后的直观概念是,图中的节点可以对应于对象或概念,而边则表示它们之间的相互关系。GNN 模型能够一次性处理这些量的数据。GNNs 可用于三类问题:图级问题、边级问题和节点级问题。在图级问题中,目标是基于图的整体结构预测其属性,而不是单独的节点或边。例如,一个样本中的分子可以表示为一个图,其整体结构可以提供关于该分子的全球属性信息。在边级问题中,目标是预测节点对之间边的存在或缺失。例如,该任务可用于推荐系统,根据过去的交互预测用户和项目之间的潜在连接。在节点级问题中,目标是预测图中每个节点的身份或角色,以解决分类或回归任务。值得注意的是,回归任务可以是“自回归”,即它们可以包含时间。 本综述进一步考察了 GNN 在时间序列相关任务中的具体应用,特别关注时间序列分类和预测。使用 GNNs 进行时间序列问题的核心思想是,GNNs 能够同时捕捉复杂的关系,包括变量间关系(多变量序列内不同变量之间的连接)和时间间关系(不同时间点之间的依赖性)。这构成了一个时空 GNN 方法,其中空间维度与多变量框架相关,时间维度与数据的时间特性相关。即,时空 GNNs 是一种旨在同时处理空间和时间维度数据的 GNN 模型。在这种情况下,时空图中的每个节点或边的数据可以随时间演变,挑战在于建模这些随时间动态变化的相互作用。 尽管这一领域潜力巨大,但据我们所知,尚缺乏关于时间序列应用的时空 GNN 模型的系统文献综述(SLR)。现有的综述大多不是系统文献综述,要么不够新,要么只关注有限的应用领域。个别近期综述集中在算法特征 [9], [132], [200], [18]、GNN 特性 [199]、特定领域 [80] 和分布式训练 [125], [162]。唯一一篇关于时空 GNNs 的 SLR 是 Zeghina 等人 [223] 最近发布的,但由于搜索查询限制,它仅涵盖了 52 篇文献。 本 SLR 的意图是提供关于时空 GNN 在不同领域的时间序列分类和预测应用的广泛而全面的概览。本 SLR 还旨在评估时空 GNN 模型当前流行的原因是否确实源于其有效性,并评估其在不同领域中的效率和准确性。此外,它收集了结果和基准,以便通过综合 GNN 应用的现有文献帮助研究人员。据我们所知,这是首个提供全面表格并汇总各种模型和基准在高度分散文献中结果的综述。希望这些整理和提炼的知识能够成为研究人员的宝贵资源和参考。 在本综述中,我们将提出两组问题。第一组问题旨在提供该领域出版物的总体概览,而第二组问题则关注提出的 GNN 模型的具体方面。 总体概览问题(GQs)如下:

  • GQ1) 趋势:GNN 模型的出版物时间趋势如何?对 GNN 的兴趣是否在增长?
  • GQ2) 领域:GNN 模型最常应用于哪些领域?
  • GQ3) 期刊:GNN 论文发表在哪些期刊?这些期刊是否因特定应用领域而被选中?
  • GQ4) 研究小组:最活跃的 GNN 研究小组是哪几个?
  • GQ5) 工具:哪些工具(编程语言、库、框架)用于实现 GNN 模型?
  • GQ6) 资金:论文作者是否获得了公共或私人研究资助?

具体问题(SQs)如下:

  • SQ1) 应用:时空 GNNs 最常研究的应用有哪些?不同应用领域的方法和结果有何差异?
  • SQ2) 图构建:图结构是否预先确定?如果不是,研究人员如何定义它?
  • SQ3) 分类:在各种分类中,最常见的是哪些?是否存在一些反复出现的机制?
  • SQ4) 基准模型:最常见的基准模型有哪些?是传统的 ML 模型还是 GNN 模型?
  • SQ5) 基准数据集:最常见的基准数据集有哪些?
  • SQ6) 建模范式:最常见的范式是什么?是建模复杂的相互作用系统,还是具有多个交互量的系统?具体来说,图通常是凝聚多个实体之间的关系,还是描述同一实体的不同方面?换言之,图结构是同质的还是异质的?
  • SQ7) 评估指标:用于评估给定模型准确性的常见指标有哪些?

对总体问题和具体问题的回答将在随后的讨论中整合,以提供时空 GNN 模型当前状态的全面概述。通过突出不同领域方法的相似性和差异,将汇总 GNN 模型的一般概况。然而,若读者需要更详细地分析某一特定学科或 GNN 模型的其他方面,可参考前述的专门综述文献([9], [132], [200], [18], [199], [80], [125], [162])。 本文的结构如下:在引言之后,第 2 节阐述了文献收集的方法。第 3 节提供了所选论文的总体概览。第 4 节介绍了时空 GNN 模型的基本定义和概念,并讨论其分类和图结构的确定。第 5 节是本综述的核心,探讨了在所选文献中提出的时空 GNN 模型的不同应用领域。第 6 节提供了对研究问题的讨论及回答。最后,第 7 节讨论了限制、挑战和未来研究方向。第 8 节是综述的结论。附录 A 列出了本 SLR 所涵盖的所有期刊论文,包括发表年份、所属研究小组、案例研究和任务性质(如分类或预测)。

成为VIP会员查看完整内容
27

相关内容

生成式人工智能的扩散模型概述
专知会员服务
47+阅读 · 12月8日
图神经网络在金融欺诈检测中的应用综述
专知会员服务
20+阅读 · 11月22日
多模态复合编辑与检索综述
专知会员服务
18+阅读 · 9月14日
多模态大规模语言模型基准的综述
专知会员服务
34+阅读 · 8月25日
时间序列和时空数据扩散模型综述
专知会员服务
55+阅读 · 5月1日
卷积神经网络的可解释性研究综述
专知会员服务
89+阅读 · 2023年6月5日
基于深度神经网络的图像缺损修复方法综述
专知会员服务
25+阅读 · 2021年12月18日
深度学习驱动的知识追踪研究进展综述
专知会员服务
37+阅读 · 2021年11月15日
图像分类的深度卷积神经网络模型综述
专知会员服务
56+阅读 · 2021年10月29日
基于图神经网络的知识图谱研究进展
AI科技评论
20+阅读 · 2020年8月31日
论文浅尝 | 区分概念和实例的知识图谱嵌入方法
开放知识图谱
17+阅读 · 2019年1月19日
图卷积神经网络的变种与挑战【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月28日
清华大学图神经网络综述:模型与应用
机器之心
74+阅读 · 2018年12月26日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
407+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
146+阅读 · 2023年3月24日
Arxiv
21+阅读 · 2023年3月17日
VIP会员
相关VIP内容
生成式人工智能的扩散模型概述
专知会员服务
47+阅读 · 12月8日
图神经网络在金融欺诈检测中的应用综述
专知会员服务
20+阅读 · 11月22日
多模态复合编辑与检索综述
专知会员服务
18+阅读 · 9月14日
多模态大规模语言模型基准的综述
专知会员服务
34+阅读 · 8月25日
时间序列和时空数据扩散模型综述
专知会员服务
55+阅读 · 5月1日
卷积神经网络的可解释性研究综述
专知会员服务
89+阅读 · 2023年6月5日
基于深度神经网络的图像缺损修复方法综述
专知会员服务
25+阅读 · 2021年12月18日
深度学习驱动的知识追踪研究进展综述
专知会员服务
37+阅读 · 2021年11月15日
图像分类的深度卷积神经网络模型综述
专知会员服务
56+阅读 · 2021年10月29日
相关资讯
基于图神经网络的知识图谱研究进展
AI科技评论
20+阅读 · 2020年8月31日
论文浅尝 | 区分概念和实例的知识图谱嵌入方法
开放知识图谱
17+阅读 · 2019年1月19日
图卷积神经网络的变种与挑战【附PPT与视频资料】
人工智能前沿讲习班
27+阅读 · 2018年12月28日
清华大学图神经网络综述:模型与应用
机器之心
74+阅读 · 2018年12月26日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员