【重磅】GCN大佬Thomas Kipf博士论文《深度学习图结构表示》178页pdf阐述图卷积神经网络等机制与应用

2020 年 5 月 7 日 专知

【导读】Thomas Kipf是阿姆斯特丹大学博士生，是GCN作者。最近他毕业博士论文公布了，《深度学习图结构表示》178页pdf阐述图卷积神经网络等机制与应用，包括作者一系列原创图深度学习工作，有GCN、GAE等，是研究该领域不可缺少的阅读文献。

阿姆斯特丹大学机器学习专业四年级的博士生，导师Max Welling教授。我的主要兴趣是学习结构化数据和结构化表示/计算。这包括推理、(多主体)强化学习和结构化的深层生成模型。

https://tkipf.github.io/

《深度学习图结构表示》

地址：

https://dare.uva.nl/search?identifier=1b63b965-24c4-4bcd-aabb-b849056fa76d

在这篇论文中，我们提出了利用图结构表示进行深度学习的新方法。所提出的方法主要基于以图的形式构造基于神经网络的模型的表示和计算的主题，这使得在使用显式和隐式模块结构学习数据时可以改进泛化。

我们的贡献如下:

我们提出图卷积神经网络 graph convolutional networks (GCNs) (Kipf and Welling, 2017;第3章) 用于图结构数据中节点的半监督分类。GCNs是一种图神经网络，它在图中执行参数化的消息传递操作，建模为谱图卷积的一阶近似。在发布时，GCNs在许多无向图数据集的节点级分类任务中取得了最先进的性能。

我们提出图自编码器(GAEs) (Kipf and Welling, 2016;第四章）用于图形结构数据中的无监督学习和链接预测。GAEs利用一种基于图神经网络的编码器和一种基于成对评分函数重构图中的链接的解码器。我们进一步提出了一个模型变量作为概率生成模型，该模型使用变量推理进行训练，我们将其命名为变量GAE。在没有节点标签的情况下，GAEs和变分GAEs特别适合于图数据的表示学习。

我们提出了关系型GCNs (Schlichtkrull and Kipf等，2018;第5章)将GCN模型扩展到具有多种边缘类型的有向关系图。关系GCNs非常适合于对关系数据进行建模，我们演示了一个应用于知识库中的半监督实体分类。

我们提出了神经关系推理(NRI) (Kipf and Fetaya等，2018; 第六章)用于交互系统中潜在关系结构的发现。NRI将图神经网络与图中边缘类型的概率潜在变量模型相结合。我们将NRI应用于相互作用的动力学系统，如物理中的多粒子系统。

我们提出组合模仿学习和执行(CompILE) (Kipf等，2019;第7章)，一个序列行为数据的结构发现模型。CompILE使用一种新的可微序列分割机制来发现和自动编码有意义的行为子序列或子程序。潜代码可以被执行和重新组合以产生新的行为。

我们提出了对比训练的结构化世界模型(C-SWMs) (Kipf等，2020; 第8章)从无监督的原始像素观测中学习环境的目标分解模型。C-SWMs使用图神经网络以图的形式构造环境的表示，其中节点表示对象，边表示在动作影响下的成对关系或交互。C-SWMs在没有像素损耗的情况下使用对比学习进行训练，非常适合于具有组成结构的环境的学习模型。

Thomas Kipf论文列表：

Thomas N. Kipf and Max Welling (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In: International Conference on Learning Representations (ICLR).
Thomas N. Kipf and Max Welling (2016). "Variational Graph Auto-Encoders." In: NeurIPS Workshop on Bayesian Deep Learning.
Michael Schlichtkrull*, Thomas N. Kipf*, Peter Bloem, Rianne van den Berg, Ivan Titov and Max Welling (2018). "Modeling Relational Data with Graph Convolutional Networks." In: European Semantic Web Conference (ESWC).
Thomas Kipf*, Ethan Fetaya*, Kuan-ChiehWang, MaxWelling and Richard Zemel (2018). "Neural Relational Inference for Interacting Systems." In: International Conference on Machine Learning (ICML).
Thomas Kipf, Yujia Li, Hanjun Dai, Vinicius Zambaldi, Alvaro Sanchez- Gonzalez, Edward Grefenstette, Pushmeet Kohli and Peter Battaglia (2019). "CompILE: Compositional Imitation Learning and Execution." In: International Conference on Machine Learning (ICML).
Thomas Kipf, Elise van der Pol and Max Welling (2020). "Contrastive Learning of Structured World Models." In: International Conference on Learning Representations (ICLR).