综述|从9篇研究综述看图神经网络GNN的最新研究进展

2020 年 5 月 28 日 DataFunTalk

图网络文献综述

整理：Mark

内容：9篇图神经网络(GNN)相关的文献综述

近年来近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，GNN 最近已成为一种广泛应用的图分析方法。

到目前，相关研究的已经非常多了，不过我们回过头来看思考和回顾一下：解决图(Graph)数据的方法和思路有那些，这些方法和思路跟图像文本有什么异同？各大顶会提出的图网络模型有什么样的基本假设和主要功能？常用数据集Cora, Citeseer, Pubmed等有没有统一一致的对比？图神经网络和图嵌入的区别的是什么？图网络能做什么，不能做什么，图网络表示的上界在哪里？节点分类，链接预测，图分类的算法和模型都有哪些？另外，有的图数据是非常小的，有的图数据（如微信社交网络，微博社交网络）是非常巨大的，那么针对小型图网络与巨型网络分别都有什么样的模型，研究的思路跟一般的图数据有什么区别？最后，未来还有什么样的研究方向？本文整理了9篇图神经网络(GNN)相关的文献综述，这九篇相关的文献综述从不同的角度对图神经网络的发展进行了详细的总结和概述。下面是本文整理的列表:

1. Deep Learning on Graphs: A Survey

2. Graph Neural Networks: A Review of Methods and Applications

3. A Comprehensive Survey on Graph Neural Networks

4. A Gentle Introduction to Deep Learning for Graphs

5. LEARNING REPRESENTATIONS OF GRAPH DATA: A SURVEY

6. Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview

7. A Survey on The Expressive Power of Graph Neural Networks

8. Relational inductive biases, deep learning, and graph networks

9. Adversarial Attack and Defense on Graph Data: A Survey

整理时间: 2020-03-29，以上pdf都可以公开获得，如果需要打包下载，请联系最后的小助手，私信回复：graphsurvey

1. Deep Learning on Graphs: A Survey

时间：2018年12月首发，2020年3月更新至第三版

作者：Ziwei Zhang等

单位：清华大学

篇幅：24页

链接：https://arxiv.org/pdf/1812.04202.pdf

从声学、图像到自然语言处理，深度学习在许多领域都取得了成功。然而，将深度学习应用于无所不在的图数据并非易事，因为图形是一种非欧的数据结构，具有独特的特性。近年来，这一领域的研究取得了很大的进展，极大地推动了图分析技术的发展。在本研究中，作者全面回顾了应用于图深度学习各种方法。总结了现有的图网络类型，将现有的方法分为五类: 图递归神经网络、图卷积网络、图自编码器、图增强学习和图对抗方法。

7. A Survey on The Expressive Power of Graph Neural Networks

时间：2020年3月

作者：Ryoma Sato

作者单位：Kyoto University / RIKEN AIP

篇幅：41页

链接：https://arxiv.org/abs/2003.04078

图神经网络到底有多么的强大呢？来自日本京都大学学者从较为理论的角度写了一篇相关的研究综述，主要探究图网络与WL test的关系，以及图网络能够解决的问题和图网络不能够解决的问题。

图神经网络是解决各种图学习问题的有效的机器学习模型。尽管它们取得了经验上的成功，但是GNNs的理论局限性最近已经被揭示出来。因此，人们提出了各式各样的GNN模型来攻克这些限制。在该研究综述中，作者全面概述了GNNs的表达能力和可证明的强大的GNNs变体。下面是本文的主要章节：Section 2 GNN不能判别的例子; Section 3 GNN与WL algorithm的联系; Section 4 GNN能够和不能够解决的组合问题; Section 5 GNN, WL algorithm 以及 distributed local algorithm的关系

8. Relational inductive biases, deep learning, and graph networks

时间：2018年6月首发；2018年11月第三版

作者：Peter W. Battaglia等

单位：1DeepMind; 2Google Brain; 3MIT; 4University of Edinburgh

篇幅：40页

链接：https://arxiv.org/pdf/1806.01261.pdf

这篇文章联合了DeepMind、谷歌大脑、MIT和爱丁堡大学的27名作者（其中22人来自DeepMind），用37页的篇幅，对关系归纳偏置和图网络（Graph network）进行了全面阐述。在论文里，作者探讨了如何在深度学习结构（比如全连接层、卷积层和递归层）中，使用关系归纳偏置（relational inductive biases），促进对实体、对关系，以及对组成它们的规则进行学习。

论文提出了一个新的AI模块——图网络（graph network），对以前各种对图进行操作的神经网络方法的推广和扩展。图网络具有强大的关系归纳偏置，为操纵结构化知识和生成结构化行为提供了一个直接的界面。作者还讨论了图网络如何支持关系推理和组合泛化，为更复杂、可解释和灵活的推理模式打下基础。

相关报道与解读：图网络让深度学习也能因果推理（http://suo.im/5V9FBj）

9. Adversarial Attack and Defense on Graph Data: A Survey

把对抗思想应用到图数据是一个自然的过程，而且其在具体应用场景中也有广泛的案例，例如在在线社交网络中，水军账户通过关注正常账户，发布日常内容，来降低自己在社交网络的中可疑度，从而避免被检测到而封号。

图数据对抗攻击的定义是：给定一个图（节点和边），通过修改这个图，使得这种修改在不被察觉到情况下，能够降低算法（例如节点分类和链接预测）在图数据上面的表现。

和优化问题相似，攻击方的目标是在一定约束的条件下最大可能地干扰算法的表现。在KDD 2018 [1]的文章中，作者将图被修改之后带来的变化定义为perturbations（扰动），即攻击者对图数据的攻击后的扰动必须满足与一些约束。例如，我们加边或者减边不能太多条，要保持图的基本结构等等，这是对抗攻击实现的前提。

[1] Zügner, Daniel, Amir Akbarnejad, and Stephan Günnemann. "Adversarial attacks on neural networks for graph data." In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 2847-2856. ACM, 2018

根据图数据的特点，可以图数据对抗攻击任务分为三类：

节点相关的任务（Node-related Task）：对节点分类任务还有对节点嵌入（node embedding）的攻击都属于节点层面的攻击，其目的是让分类器分错，降低其精确率或者召回率。因为节点分类是目前图数据的主要任务，因此大部分图数据对抗攻击论文都有研究到节点分类任务；
链接相关的任务（Link-related Task）：链接预测（Link Prediction）是图数据上面的另一个主要任务，推荐系统，知识图谱，社交网络都用到它。对于链接层面的攻击，主要目的让算法预测到错的链接目标；

全图相关的任务（Graph-related Task）：全图相关的任务主要是对整个图的分类，常见于对生物结构的分类任务。一般是学习图整体结构的低维嵌入，然后进行分类

相关的章节目录
section 3: 从各种视角对当前的攻击方法进行分类。
section 4：对典型的算法进行回顾。
section 5: 根据防御策略对当前的防治措施进行分类，并且对每一类中的代表性算法进行回顾。
section 6: 基于我们开发的知识库进行相关的研究和探讨，该知识库可以对基于图的攻击和防御提供一个全面的理解。
section 7: 对该领域未来的方向和前景进行探讨。