深入浅出「图神经网络GNN」的原理、应用以及前景 (附赠GNN新书鼠年春节福利)

导读：图神经网络（GNN，Graph Neural Networks）是 2019 年人工智能领域最热门的话题之一。图神经网络是用于图结构数据的深度学习架构，将端到端学习与归纳推理相结合，业界普遍认为其有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题，是未来 3 到 5 年的重点方向。2019 年图神经网络有哪些研究成果值得关注？2020 年它又将朝什么方向发展？让我们一起来一探究竟。文末有送新书《深入浅出图神经网络-GNN原理解析》福利，提前祝各位专知用户鼠年春节快乐！

1. GNN：从尝鲜进入快速爆发期

近年来，作为一项新兴的图数据学习技术，图神经网络（GNN）受到了非常广泛的关注。在2018年年末，出现了一个十分有趣的现象，该领域同时发表了三篇综述类型论文，这种“不约而同”体现了学术界对该项技术的认可。

清华大学孙茂松课题组:《图神经网络: 方法与应用》综述论文，20页pdf
清华大学朱文武课题组：《图深度学习》综述论文，15页pdf
图神经网络概述第三弹：来自IEEE Fellow的GNN综述

事实上，在2019年的各大顶级学术会议上，与图神经网络有关的论文也占据了相当可观的份额。相信在未来几年，这种流行的趋势会只增不减。

图神经网络技术的出现有其必然性和重要性。在深度神经网络技术兴起的前几年，图像、语音、文本等形式的数据都能够得到很好的“深度学习”，并获得了十分优秀的效果。这促使一大类产业界的相关应用进入了实用阶段，如人脸识别、语音助手、机器翻译等。尽管如此，深度学习一直缺乏对另一类形式的数据—图数据（或称网络数据）进行有效地适配。作为一类主要描述关系的通用数据表示方法，图数据在产业界有着更加广阔的应用场景，在诸于社交网络、电子购物、物联网、生物制药等场景中，都可以找到图数据的影子。将深度学习技术的成功经验迁移到图数据的学习中来，是一种十分自然且必要的需求。在这样的背景下，图神经网络的出现，很好地填补了上述技术空白，实现了图数据与深度学习技术的有效结合，使得深度学习能够在图数据的相关应用场景中继续攻城略地。事实上，纵观这三年，图神经网络技术的相关应用研究已经拓展到了极其宽广的局面，从视觉推理到开放性地阅读理解问题，从药物分子的研发到5G芯片的设计，从交通流量预测到3D点云数据的学习，该项技术展示出了及其重要且极具渗透性的应用能力，这种能力必将给产业界带来极高的应用价值

2. GNN 的原理、变体及拓展 GNN 作为一个新兴的技术方向，其原理解读以及各类变体与拓展构成了理论研究的热点，这些论文很好地回答了 GNN 的优缺点以及相关的适应性改造问题。

2.1 GNN 原理解读 当前 GNN 研究的第一个热点在于其相关能力的理论化研究。在 “How Powerful are Graph Neural Networks?” 和 “On the equivalence between graph isomorphism testing and function approximation with GNNs” 中，都对 GNN 在图同构问题上的表现进行了探讨。图同构问题是辨别给定的两个图是否一致，同构图如下图所示。这个问题考验了算法对图数据结构的辨别能力，这两篇文章都证明了 GNN 模型具有出色的结构学习能力。图中天然包含了关系，因此许多 GNN 相关的工作就建立在对给定系统进行推理学习的研究上，在这些研究中，“Can graph neural networks help logic reasoning? ” 和 “The Logical Expressiveness of Graph Neural Networks” 论证了 GNN 在逻辑推理上的优秀表现。“All We Have is Low-Pass Filters ” 从低通滤波的层面解释了 GNN 的有效性。这些原理解读，有助于我们对 GNN 的特色专长建立一种更加清晰的认识。

2.2 GNN 的各类变体 GNN 模型的相关变体研究是领域内的另一个热点，这些变体在一些方面提升了 GNN 的能力表现。我们知道 GCN 模型来源于图信号上的傅里叶变换，“Graph Wavelet Neural Network” 引入了图信号上的小波变换来改造 GCN 模型，将卷积计算变换到空域局部邻域内。将数据表征从欧式空间转化到双曲空间，不仅能获得更好地层次化表示，同时能大大节约空间维度，“Hyperbolic Graph Convolutional Neural Networks”和 “Hyperbolic Attention Networks” 同时将 GNN 拓展到了双曲空间上去。

在 “MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing” 和 “Diffusion Improves Graph Learning”中，同时将原始 GCN 中的邻居定义由一阶拓展到高阶，强化了模型低通滤波的特性。

2.3 GNN 在各类图数据及任务上的拓展 图数据是一个种类繁多的数据家族，模型对这些不同类型的数据如何适配，是 GNN 发展的另一重要方向。下表给出了相应的概括：

在图数据相关的任务上，图的分类是一个重要而又未完全解决好的问题，其难处在于如何在图数据上实现层次化的池化操作从而获得图的全局表示，“Graph Convolutional Networks with EigenPooling”中给出了一种新的操作思路。

3. GNN 相关应用

近几年，以深度学习为代表的人工智能技术给产业界带来了新的变革。该技术在视觉、语音、文本三大领域取得了极大的应用成果，这种成功，离不开深度学习技术对这三类数据定制化的模型设计工作。脱离于这三类数据之外，图数据是一种更加广泛的数据表示方式，夸张地说，没有任何一个场景中的数据彼此之间是孤立存在的，这些数据之间的关系都可以以图的形式进行表达。下图给出了一些图数据的使用场景：

3.1 GNN 的应用简述

GNN的适用范围非常广泛，既可以处理具有显式关联结构的数据如药物分子、电路网络等，也可以处理具有隐式关联结构的数据如图像、文本等。近年来，GNN已经被用来解决各行各业的问题，例如生物化学领域中的分子指纹识别、药物分子设计、疾病分类等，在交通领域对交通需求预测、道路速度预测，在计算机图像处理领域的目标检测、视觉推理等，在自然语言处理领域的实体关系抽取、关系推理等。在引文[1]中分成六个方向：自然语言处理、计算机视觉、自然科学研究、知识图谱、组合优化、图生成，对GNN的应用做出了较为全面与细致的归纳总结。

纵观GNN的各类应用，GNN表现出了如下三点优势：

1. GNN具有强大的图数据拟合能力。作为一种建立在图上的端对端学习框架，GNN展示出了强大的图数据拟合能力。图数据是科学与工程学领域中一种十分常见的数据研究对象，因此，GNN也被应用到了很多相关场景下，并且都取得了不错的效果。通常这些应用均会利用GNN去拟合研究对象的一些理化性质，从而指导或加速相应的科研与开发工作。比如引文利用[2]GNN去拟合两图中节点对的组合性质，从而提升蛋白质相互作用点预测的精度，而蛋白质相互作用点预测是药物分子发现与设计工作的重要构成部分；引文[3]将高频电路抽象成图数据，利用GNN去拟合其电磁学性质，相较于严格的电磁学仿真计算，该方法能极大的加速高频电路（比如5G 芯片）的设计工作。

2. GNN 具有强大的推理能力。计算机要完成推理任务、离不开对语义实体的识别以及实体之间关系的抽取，很自然地，GNN被应用到了很多推理任务的场景中去。相较于之前大多基于关系三元组的建模方式，GNN能够对表征语义关系的网络进行整体性地建模，习得更加复杂与丰富的语义信息，这对提升推理任务的效果大有裨益。深度学习经过近几年的长足发展，在许多识别相关的任务上都取得了前所未有的成果，基于此，需要更深程度理解数据的推理任务被提出来，比如计算机视觉中的视觉问答（Visual Question Answering）、视觉推理（Visual Reasoning），自然语言处理中的多跳推理（Multi-hop Reasoning）等。随着GNN的流行，很多工作也尝试将GNN以一种端对端地形式嵌入到学习系统中去，提升相关任务的效果。我们举两个例子说明：第一个是在基于事实的视觉问答（Fact-based Visual Question Answering）中，问题不再直接包含答案内容，需要学习系统经过推理将问题中的事实关系正确映射到答案中的实体上。在引文[4]中通过引入GCN同时建模多条事实来提升对答案推理的正确性，这一方法在相关数据集上取得了极大的效果提升。第二个是多跳推理，相比于之前的阅读理解任务，多跳推理需要跨越多个段落甚至多个文档来寻找实体之间的多跳关系，这是一个更加开放更加复杂的推理任务。在引文[5]中通过嵌入GNN，构造了一个抽取加推理的双线学习框架，使得学习系统在可解释性提升的同时也在相关数据集上获得了极大的效果提升。

3. GNN与知识图谱结合，可以将先验知识以端对端的形式高效地嵌入到学习系统中去。人类在学习后习得的知识，会被大脑神经系统进行系统地加工并存储起来，作为之后相关活动发生时的一种先验知识高效提升人类的应对表现，并且往往知识之间会产生各种关联，形成“知识地图”。这种机制对应着数据科学领域中一些技术如知识图谱的广泛应用。从数据建模的层面说，这些知识（或者规则、经验、常识、事实等）为模型提供了额外的相关信息，可以有效提升学习系统的效果。作为一种端对端的图数据学习模型，GNN结合知识图谱，可以将先验知识高效地嵌入到任意一种学习系统中去，提升任务效果。比如引文[6]在零样本学习任务中利用GCN对词汇网络（WordNet）进行建模，实现了类别之间的语义关系到其视觉表示上的迁移，从而大大提升视觉模型在一些完全不提供训练样本的类别上的分类准确率。引文[7]通过补充额外的知识图谱信息，将知识图谱与用户-商品二部图构成一种合成的图结构，然后利用GNN进行推荐任务建模，同时增强了推荐系统的准确率、多样性与可解释性。

总的来说，正是由于GNN强大而灵活的特性，使得其不管在图数据本身的学习任务上，还是在被以端对端的形式融合到其他的学习任务中，都能表现出自己的独特优势。当然，上面一以概之的优势需要与实际场景进行深度耦合，在具体地应用中寻找精确的定位，只有这样，才能在相关场景中获得优秀的效果。

3.2 应用案例

在最近一年，GNN 的应用场景不断延伸，覆盖了计算机视觉、3D 视觉、自然语言处理、科研、知识图谱、推荐、反欺诈等场景，下面我们将逐项概括。

3.2.1 计算机视觉 在前几年跨越了视觉识别的大门之后，推理相关的视觉任务已经成为了了各大 CV 顶会的主要关注点，如：视觉问答、视觉推理、语义图合成、human-object interaction 等，甚至如视觉的基础任务，目标检测也需要用到推理来提升性能。在这些任务中，已经大量出现应用 GNN 的相关工作。下面我们以最常见的视觉问答任务举例说明，在“Relation-Aware Graph Attention Network for Visual Question Answering”一文中，给出了将 GNN 与视觉模型结合的示意图：

在上图中，视觉模型的作用是提取给定图像中的语义区域，这些语义区域与问题一并当做图中的节点，送到一个 GNN 模型中进行推理学习，这样的一种建模方式，可以更加有效地在视觉问答中对问题进行自适应地推理。

另外一个有意思的场景是少样本或零样本学习，由于这类场景下样本十分缺乏，如何充分挖掘样本之间的潜在关联信息（比如标签语义关联、潜层表达关联）就成为了一个至关重要的考量因素，引入 GNN 成为了一个非常自然的动作，相关工作有“Rethinking Knowledge Graph Propagation for Zero-Shot Learning”、“Edge-labeling Graph Neural Network for Few-shot Learning”。

3.2.2 3D 视觉

3D 视觉是计算机视觉的又一重要发展方向，世界是 3D 的，如何让计算机理解 3D 世界，具有极其重要的现实价值。3D 视觉中，点云数据是一种十分常见的数据表示方法。

点云数据通常由一组坐标点（x,y,z）表示，这种数据由于映射了现实世界中物体的特征，因此存在一种内在的表征物体语义的流行结构，这种结构的学习也是 GNN 所擅长的。需要说明一点的是，在 3D 视觉中流行的是几何学习 Geometry Learning，当下，几何学习与 GNN 在一些场景如点云分割、点云识别等正在深度融合，相关论文有 “Graph Attention Convolution for Point Cloud Segmentation”、“Semantic Graph Convolutional Networks for 3D Human Pose Regression”。

3.2.3 视觉推理

推理是人类具有的高阶能力，是人类智能中很重要的部分，如何让计算机拥有推理能力是人工智能领域一项重要的课题。

以视觉领域为例，尽管卷积神经网络等模型取得了极大的成功，但是仍不具备复杂推理的能力，比如图 7‑4中，要判断蓝色方框的目标是什么。人类在看到这副图像的时候，根据图中的棒球棒、人物的姿态，首先会得出这张图在描述打棒球，然后以此为依据，对于蓝色的目标区域，根据这个人的姿势和手部姿态判断他是处于接棒球的状态，因此可以推断蓝色区域为棒球手套。而使用基于卷积网络的方法进行识别，除了在更大的感知野内获得的层次化特征之外，无法通过图像的语义信息来准确推理出蓝色区域的目标。

文献[15]为了解决上述的局限，提出了一个融合了空间信息和语义信息的迭代式视觉推理系统。整个系统有两个核心的模块，一是在卷积网络基础上引入了记忆机制的局部推理模块，二是融合了空间和语义信息的全局推理模块。整体的推理框架如下图所示。

推理框架结构图

局部推理模块以记忆模块S作为输入进行预测，其中记忆模块S用来存储通过卷积网络提取的目标区域的位置特征和图像特征。

全局推理模块主要基于空间特征和语义特征进行推理。空间指的是建立位置上不相邻区域的联系，语义指的是利用外部的知识库建立类别与类别之间的联系。为了综合利用这两方面的信息，采用GNN作为推理模块。图的构成使用了两种类型的节点，由所有的区域组成的区域节点，和所有区域对应的实体作为节点。节点与节点之间的边通过如下三种关系建立，第一种是区域与区域之间通过它们距离关系进行关联，边的权重由像素距离的核函数归一化值决定；另外对于有重叠的区域，通过IoU值建立它们之间的关系。第二种是区域与实体之间的关系，根据对区域预测的概率分布（softmax输出），建立与实体之间的关系，边的权重为对应的概率值。第三种是实体与实体之间的关系，这个关系来自于外部的知识图谱，可以将多种实体关系考虑进来，比如类别从属关系、部件从属关系（腿和椅子）、单复数关系、水平对称关系等。

以上述构建的图为基础，使用GNN来进行推理，区域节点的特征来自卷积网络，实体节点的特征来自预训练的词向量。GNN推理是为了融合空间和语义信息对区域进行推理，因此使用了两条推理路径。一条是区域——区域，它聚合多个区域的特征以得到空间特征；另一条是区域——实体——实体，它分为两步，第一步将区域的特征聚合到实体节点并与实体节点特征融合，然后对不同类型的实体关系进行聚合得到实体的特征，这对应着语义关系。为了得到区域的最终特征，通过实体——区域的关系，将实体携带的语义特征聚合到区域节点上，并与第一条推理路径得到的空间特征进行融合。整个过程如下图所示。

全局推理模块示意图

推理通常不是一步到位的，而是迭代式的。为了将前一轮的信息传递到后一轮，可以使用记忆模块，局部推理和全局推理使用不同的记忆模块和,每次迭代得到的输出用于更新记忆模块。另外模型还引入了注意力机制，以便融合当前预测值与来自其他迭代过程产生的预测值。模型在不同的训练数据集上进行试验，将识别效果对比卷积神经网络提升了3.7% ~ 8.4%。

3.2.4 自然语言处理

GNN 与 NLP 的结合，关键点也在于 GNN 优秀的推理能力。GNN 在一些场景如：阅读理解、实体识别与关系抽取、依存句法分析中都有应用。下面我们以多跳阅读（Multi-hop reading）为例，多跳阅读是说在阅读理解的过程中，往往需要在多篇文档之间进行多级跳跃式的关联与推理，才能找到正确答案，相比较以前的单文档问答数据集，这是一个更具有开放性与挑战性的推理任务。下图给出了多跳阅读的样例：

在“Cognitive Graph for Multi-Hop Reading Comprehension at Scale”一文中，作者基于 BERT 和 GNN 的实现可有效处理 HotPotQA 数据集中有关多跳阅读问题的数百万份文档，在排行榜上的联合 F1 得分为 34.9，而第二名的得分只有 23.6。

3.2.5 知识图谱

由于知识图谱本身就是一种图数据，因此知识图谱 +GNN 的组合自然就成了解决各类知识图谱问题的新手段。关系补全或预测问题是知识图谱的一大基础任务，通过关系的推理补全可以大大提升知识图谱的应用质量，下图给出了关系补全的一个实例：

在论文“Learning Attention-based Embeddings for Relation Prediction in Knowledge Graphs”中，作者选择用 GNN 对知识图谱进行建模，相比之前基于单独三元组关系的推理，基于 GNN 的方法可以更好地捕捉三元组邻域复杂而隐含的模式信息，这种优势对完成关系补全任务具有十分重要的作用。

实体对齐是知识图谱的另一类任务，给定多个知识图谱，需要首先确定各自图谱中的哪些实体描述的是同一个对象，完成这项工作才能正确地将它们合成一个大的知识图谱。论文“Multi-Channel Graph Neural Network for Entity Alignment”提出了一种基于 GNN 的实体对齐方案，实验表明，在多个数据集上，该方案均取得了最好的效果。

近几年，知识图谱在工业界声势日隆，在这种语境下，我们也称知识图谱为业务图谱，在论文“Estimating Node Importance in Knowledge Graphs Using Graph Neural Networks”中，作者成功运用 GNN 技术对电影业务图谱进行建模，在电影流行度预测上效果表现十分出色。

另外，知识图谱与推荐系统结合也成了近期一个比较热门的方向，这部分可参考下一节推荐系统中的讲解。

3.2.6 推荐系统

推荐是各大互联网公司十分重要的营收手段，因此一直以来备受工业界与学术界双重关注。过去这几年，推荐系统由早期的协同过滤算法发展到 MF 模型、再到之后的 Wide&Deep，以及基于 Network Embedding 的方法，可以明显地看到基于神经网络的方法正在逐渐占据主要位置，而 GNN 的出现，又一次大大加速了这个技术趋势。

以电商平台的推荐为例，推荐系统的核心数据在于用户 - 商品交互的二部图，而基于神经网络的多数方法将二部图中的实体映射到一个合适的向量空间中去，使得在图上距离越近的两个实体在向量空间中的距离也越近，如下图所示：

GNN 本身是一种深度模型，与推荐系统结合之后，多层 GNN 模型可以更好地捕捉用户与商品之间的高阶协同关系，论文“Neural Graph Collaborative Filtering”中，作者论证了多层 GNN 所带来的“Deep”与“High order”效益对推荐质量的有效提升。

除了推荐系统算法模型本身的研究，另一种思路在于如何使推荐系统有效融合进额外的信息，如用户端社交网络的信息、商品端商品知识图谱的信息。这类信息中通常也蕴含了极强的关系，因此可以非常自然地与用户 - 商品二部图合在一起构成一个更大的异构图。下图给出了与电影知识图谱的结合示意图：

图片来源 https://arxiv.org/pdf/1902.06236.pdf

有了这样的图数据抽象之后，引进 GNN 进行推荐建模也就成了一种自然的选择，相关论文有 KGAT:“ Knowledge Graph Attention Network for Recommendation”、“Metapath-guided Heterogeneous Graph Neural Network for Intent Recommendation”、“Session-based Social Recommendation via Dynamic Graph Attention Networks”等。

另外一个十分重要的、也与推荐系统息息相关相关的业务场景是广告点击率（CTR）预测。该场景下的样本通常是由多领域的特征数据构成，比如用户域、设备域、广告域等等，如何建模这些数据域之间的特征交互，成为了该任务的核心。最近基于神经网络的方法都是直接将各个域之间的特征拼接起来然后送到上层的网络模型中，以期得到这些域之间的高阶交互，这种简单的非结构化的拼接方式，会大大限制模型的学习能力。在“Fi-GNN: Modeling Feature Interactions via Graph Neural Networks for CTR Prediction”一文中，作者将各个域之间以图的形式连接起来（下图中的 Feature graph），然后用 GNN 建模各个特征域之间高阶复杂的交互关系，相比之前的模型取得了最好效果。

4. GNN的未来展望

作为一种新兴的神经网络技术，GNN的快速发展离不开近些年深度学习在各方面的重要积淀。而与GNN的结合，可以助力深度学习系统拓展其在更广领域、更多层面的场景任务中获得成功。我们非常确信在未来几年，GNN会在越来越多的场景下得到应用。

接下来，我们从三个方面总结对GNN未来研究的展望。当然下述观点仅供参考，读者朋友也应有自己的思考。

充分适应复杂多变的图数据。一方面，图数据的类型及其繁杂，如关系经常发生变化的动态图、一条边连接两个以上节点的超图，这些图数据的结构更加复杂，需要GNN进行针对性地设计。二方面，GNN针对异构图与属性图还需要更充分地研究与设计，以学习其中丰富多样的语义信息。

在更多推理任务上的应用与学习机制的研究改进。推理任务已经成为当下深度学习系统面临的核心任务之一，虽然GNN已经展现出了在相关任务上的独特优势，但是内在的作用机理还需要充分研究。通过对其学习机制地不断完善与发展，来促使GNN在更多、更复杂的推理任务中获得更好的表现。

对超大规模图建模的支持。现有大多数图神经网络都无法扩展到规模巨大的图数据中去。GNN的训练是一种协同的学习方式，在一次迭代中，节点固有的上下文会导致其状态的更新需要涉及到大量邻居节点的隐藏状态，复杂度极高，难以应用小批量训练方式提升计算效率。尽管已有研究提出基于抽样与分区的手段来解决这类问题，但这些手段仍不足以扩展到工业级超大规模属性图的学习中去。

作者介绍：

刘忠雨，毕业于华中科技大学，资深图神经网络技术专家，极验科技人工智能实验室主任和首席技术官。在机器学习、深度学习以及图学习领域有 6 年以上的算法架构和研发经验，主导研发了极验行为验证、深知业务风控、叠图等产品。

文末福利

随着图神经网络的热潮出现，了解和掌握图神经网络相关技术原理已经成为未来从事 AI 相关工作的一种趋势。刘忠雨和他所在技术团队撰写了《深入浅出图神经网络》一书并于近日上市，这是第一本系统讲解图神经网络相关基础知识和原理的书籍，适合想要入门并初步实践图神经网络技术的读者，以及对系统学习图神经网络技术感兴趣的读者。

本书分为三大部分：

第一部分为基础篇，包括第1～4章，由李彦霖撰写。主要介绍学习图神经网络所需的基础知识，包括图的基本概念、卷积神经网络以及表示学习，帮助初学者更加清晰地感受到图神经网络技术与深度学习技术的一脉相承。

第二部分为高级篇，包括第5～9章。这部分是本书的重点，主要介绍图卷积神经网络的理论基础和性质，图神经网络的各种变体和框架范式，图分类以及基于GNN的图表示学习。该部分在各章节附有相关的实践案例，为读者规划了完整的从理论基础到上手实践的学习路线，帮助读者系统全面地学习图神经网络。这部分有两位作者，相关的理论部分由笔者撰写，实践案例的代码由李彦霖提供。

第三部分也就是最后一个章节，主要是介绍图神经网络目前的一些应用，图神经网络的应用非常广泛，现实应用场景非常多。鉴于本书的规划，这里只是略着笔墨，旨在抛砖引玉，为读者带来一些应用场景的认知。这部分由周洋撰写。

最后，每个章节都附有相关的参考文献。

本书特色

本书围绕着图神经网络技术，给读者朋友相对系统地阐述了该项技术的方方面面。其中比较有特色的地方有如下几点：

（1）详细阐述了图卷积模型的由来，以及什么是频域图卷积和空域图卷积，相信这是很多初学者入门该项技术的第一个拦路虎；

（2）集中阐述了图卷积模型的一些性质，这些性质的解读对读者较深入地理解图神经网络技术有着重要的作用；

（3）给出了关键部分的代码，希望借此辅助读者清晰理解书中一些公式里变量的具体含义。

此外，本书为了帮助读者理解图神经网络的相关概念，提供了很多的示意图，希望读者能够建立起更加形象的理解方式。

本次专知联合华章图书出版社为专知的粉丝送出《深入浅出图神经网络》纸质书籍 8 本！

在本文下方留言给出你想要这本书的理由，截至开奖时间，留言点赞数最高的前 8 位赠送本书（留言择优放出）。开奖时间：1 月 31 日（周五）18:00，获奖者每人获得一本。欢迎大家转发邀请好友点赞，获取新书，先到先得！