图神经网络如何时序化？看Twitter最新《动态图深度学习:时序图网络TGN》研究，附论文与PPT下载

2021 年 1 月 24 日 专知

图神经网络(GNNs)最近变得越来越受欢迎，因为它们能够学习复杂的关系或交互系统，这些系统产生于广泛的问题，从生物学和粒子物理到社会网络和推荐系统。尽管关于图的深度学习有很多不同的模型，但迄今为止，很少有人提出处理具有某种动态性质(例如，随着时间的推移，进化的特征或连接性)的图的方法。在本文中，我们提出了时序图网络(TGNs)，这是一个通用的、有效的框架，用于在以时间事件序列表示的动态图上进行深度学习。由于内存模块和基于图形的操作符的新颖组合，TGN能够显著优于以前的方法，同时计算效率更高。我们进一步表明，几个以前的模型学习动态图可以铸为我们的框架的具体实例。我们对我们的框架的不同组成部分进行了详细的消融研究，并设计出最佳配置，以在动态图形的几个转导和归纳预测任务上达到最先进的性能。

https://www.zhuanzhi.ai/paper/b52c8ed9452450b0793e8f0470ef69d8

视频：

在过去的几年里，图表示学习(Bronstein et al., 2017; Hamilton et al., 2017b; Battaglia et al., 2018)已经取得了一系列成功，在机器学习领域越来越受欢迎。在许多领域，图普遍被用作关系和交互系统的模型(Battaglia et al., 2016; Qi et al., 2018; Monti et al., 2016; Choma et al., 2018; Duvenaud et al., 2015; Gilmer et al., 2017; Parisot et al., 2018; Rossi et al., 2019)，特别是社会科学(Ying et al., 2018; Monti et al., 2019; Rossi et al., 2020)和生物学(Zitnik et al., 2018; Veselkov et al., 2019; Gainza et al., 2019)。神经网络学习等数据可以使用图(卫星系统)进行(汉密尔顿et al ., 2017),通常由一个消息传递机制运作(巴塔利亚et al ., 2018)聚合信息节点并创建节点的邻居嵌入,然后用于节点分类(Monti et al., 2016; Velickovic et al., 2018; Kipf & Welling, 2017)，图分类(Gilmer et al., 2017)，或边缘预测(Zhang & Chen, 2018)任务。

大多数关于图的深度学习方法都假设底层图是静态的。然而，大多数现实生活中的互动系统，如社会网络或生物互动是动态的。虽然通常可能应用静态图深度学习模型(Liben-Nowell & jonkleinberg, 2007)动态图,忽略了时间进化,这已被证明是最优(徐et al ., 2020),在某些情况下,它是关于系统的动态结构,其中包含关键的见解。动态图的学习是最近才开始的，大多数的工作都局限于将离散时间动态图设置(Liben-Nowell & Kleinberg, 2007; Dunlavy et al., 2011; Yu et al., 2019; Sankar et al., 2020; Pareja et al., 2019; Yu et al., 2018)。这种方法不适合有趣的现实世界设置，如社交网络，动态图是连续的(即边可以随时出现)和不断进化的(即新节点不断加入图)。直到最近，人们才提出了几种支持连续时间假设的方法(Xu et al., 2020; Trivedi et al., 2019; Kumar et al., 2019; Ma et al., 2018; Nguyen et al., 2018; Bastas et al., 2019)。

在本文中，我们首先提出了运行在连续时间动态图上的时序图网络(TGNs)的一般归纳框架，并表明许多以前的方法都是TGNs的具体实例。其次，我们提出了一种新的训练策略，允许模型从数据的顺序性中学习，同时保持高效的并行处理。第三，我们对该框架的不同组成部分进行了详细的消融研究，并分析了速度和精度之间的权衡。最后，我们展示了最先进的性能在多个任务和数据集在转导和感应设置，同时比以前的方法快得多。