图神经网络综述

近几年来,将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注．图神经 网络的出现使其在上述任务中取得了重大突破,比如在社交网络、自然语言处理、计算机视觉甚至生命 科学等领域得到了非常广泛的应用．图神经网络可以把实际问题看作图中节点之间的连接和消息传播 问题,对节点之间的依赖关系进行建模,从而能够很好地处理图结构数据．鉴于此,系统综述了图神经网络模型以及应用．首先从谱域、空间域和池化３方面对图卷积神经网络进行了阐述．然后,描述了基于注意 力机制和自编码器的图神经网络模型,并补充了一些其他方法实现的图神经网络．其次,总结了针对图 神经网络能不能做大做深等问题的讨论分析．进而,概括了图神经网络的４个框架．还详细说明了在图 神经网络在自然语言处理、计算机视觉等方面的应用．最后,对图神经网络未来的研究进行了展望和总 结．相较于已有的图神经网络综述文章,详细阐述了谱理论知识,并对基于谱域的图卷积神经网络体系 进行全面总结．同时,给出了针对空间域图卷积神经网络效率低的改进模型这一新的分类标准．并总结 了针对图神经网络表达能力、理论保障等的讨论分析,增加了新的框架模型．在应用部分,阐述了图神经 网络的最新应用．

在过去几年,深度学习已经在人工智能和机器 学习上取得了成功,给社会带来了巨大的进步．深度 学习的特点是堆积多层的神经网络层,从而具有更 好的学 习 表 示 能 力．卷 积 神 经 网 络 (convolutional neuralnetwork,CNN)的飞速发展更是将深度学习 带上了一个新的台阶[１Ｇ２]．CNN 的平移不变性、局部 性和组合性使其天然适用于处理像图像这样的欧氏 结构数据的任务中[３Ｇ４],同时也可以应用于机器学习 的其他各个领域[５Ｇ７]．深度学习的成功一部分源自于 可以从欧氏数据中提取出有效的数据表示,从而对 其进行高效的处理．另一个原因则是得益于 GPU 的 快速发展,使得计算机具有强大的计算和存储能力, 能够在大规模的数据集中训练和学习深度学习模 型．这使得深度学习在自然语言处理[８]、机器视觉[９] 和推荐系统[１０]等领域都表现出了良好的性能．

但是, 现有的神经网络只能对常规的欧氏结构 数据进行处理．如图１(a)欧氏数据结构,其特点就是 节点有固定的排列规则和顺序,如２维网格和１维 序列．而当前越来越多的实际应用问题必须要考虑 非欧氏数据,如图１(b)非欧氏数据结构中节点没有 固定的排列规则和顺序,这就使得不能直接将传统 的深度学习模型迁移到处理非欧氏结构数据的任务 中．如若直接将 CNN 应用到其中,由于非欧氏数据中心节点的邻居节点数量和排列顺序不固定,不满 足平移不变性,这就很难在非欧氏数据中定义卷积 核．针对图神经网络(graphneuralnetwork,GNN) 的研究工作,最开始就是在如何固定邻居节点数量 以及如何给邻居节点排序展开的,比如 PATCHYＧ SAN [１１],LGCN [１２],DCNN [１３]方法等．完成上述２项 工作之后,非欧氏结构数据就转化为欧氏结构数据, 然后就可以利用 CNN 处理．图是具有点和边的典型 非欧氏数据,在实际中可以将各种非欧氏数据问题 抽象为图结构．比如在交通系统中,利用基于图的学 习模型可以对路况信息进行有效的预测[１４]．在计算 机视觉中,将人与物的交互看作一种图结构,可以对 其进行有效地识别[１５]。

近期已有一些学者对图神经网络及其图卷积神经网络分支进行了综述[１６Ｇ１９]．本文的不同之处在于,首先由于经典模型是很多变体模型的基石,所以给 出了经典模型的理论基础以及详细推理步骤．在１．２ 节基于空间方法的图卷积神经网络中,多用图的形 式列出模型的实现过程,使模型更加通俗易懂．文献 [１６Ｇ１９]并未对目前广大学者热点讨论的问题进行 总结,所以在第５节针对图神经网络的讨论部分,首 次列出了目前研究学者对 GNN 的热点关注问题, 比如其表达能力、过平滑问题等．然后,在第６节中 总结了图神经网络新框架．同时,针对图神经网络的 应用,在第７节中较全面地介绍了 GNN 的应用场 景．最后,列出了图神经网络未来的研究方向．在图２ 中列出了本文的主体结构．

研究图神经网络对推动深度学习的发展以及人 类的进步具有重大意义．首先,现实中越来越多的问 题可以抽象成非欧氏结构数据,由于图数据的不规 则性,传统的深度学习模型已经不能处理这种数据, 这就亟需研究设计一种新的深度神经网络．而 GNN 所处理的数据对象就是具有不规则结构的图数据,GNN 便在这种大背景下应运而生[２０Ｇ２１]．然后,图数 据的结构和任务是十分丰富的．这种丰富的结构和 任务也正是和人们生活中要处理的实际问题相贴合 的．比如,图数据有异质性以及边的有向连接特性, 这和推荐系统中的场景完全类似．图数据处理任务 中节点级别、边级别以及整图级别也同样可以应用到深度学习的各个应用场景中．所以,GNN 的研究 为解决生活中的实际问题找到了一种新的方法和途 径．最后,GNN 的应用领域是十分广泛的,能够处理 各种能抽象成图数据的任务．不管是在传统的自然 语言处理领域[２２Ｇ２４]或者图像领域[２５Ｇ２６],还是在新兴 的生化领域[２７Ｇ２８],GNN都能表现出强大的性能．

１ 图卷积神经网络

CNN 已经在图像识别、自然语言处理等多个领 域取得了不俗的成绩,但其只能高效地处理网格和 序列等这样规则的欧氏数据．不能有效地处理像社 交多媒体网络数据、化学成分结构数据、生物蛋白数 据以及知识图谱数据等图结构的非欧氏数据．为此, 无数学者经过不懈努力,成功地将 CNN 应用到图 结构的非欧氏数据上,提出了图卷积神经网络(graph convolutionalnetwork,GCN)．GCN 是 GNN 中一 个重要分支,现有的大多数模型基本上都是在此基 础上变化推导而来．下面我们将按照从基于谱方法、 空间方法和池化３方面对 GCN 进行总结和概括．

2 基于注意力实现的图神经网络

注意力机制在处理序列任务已经表现出强大的 能力[６０],比如在机器阅读和学习 句 子 表 征 的 任 务 中．其强大的优势在于允许可变大小的输入,然后利 用注意力机制只关心最重要的部分,最后做出决策处理．一些研究发现,注意力机制可以改进卷积方 法,从而可以构建一个强大的模型,在处理一些任务 时能够取得更好的性能．为此,文献[６１]将注意力机 制引入到了图神经网络中对邻居节点聚合的过程 中,提出了图注意力网络(graphattentionnetworks, GAT)．在传统的 GNN 框架中,加入了注意力层,从 而可以学习出各个邻居节点的不同权重,将其区别对待．进而在聚合邻居节点的过程中只关注那些作 用比较大的节点,而忽视一些作用较小的节点．GAT 的核心思想是利用神经网络学习出各个邻居节点的 权重,然后利用不同权重的邻居节点更新出中心节 点的表示。

３ 基于自编码器实现的图神经网络

在无监督学习任务中,自编码器(autoencoder, AE)及其变体扮演者非常重要的角色,它借助于神 经网络模型实现隐表示学习,具有强大的数据特征 提取能力．AE 通过编码器和解码器实现对输入数 据的有效表示学习,并且学习到的隐表示的维数可 以远远小于输入数据的维数,实现降维的目的．AE 是目前隐表示学习的首选深度学习技术,当我们把 具有某些联系的原始数据(X１,X２,…,Xn)输入到 AE中进行重构学习时,可以完成特征提取的任务． 自编码器的应用场景是非常广泛的,经常被用于数据去噪、图像重构以及异常检测等任务中．除此之 外,当 AE被用于生成与训练数据类似的数据时, 称之为生成式模型．由于 AE具有上述优点,一些学 者便将 AE 及其变体模型应用到图神经网络当中 来．文 献 [６９]第 １ 个 提 出 了 基 于 变 分 自 编 码 器 (variationalautoencoder,VAE)的变分图自编码器 模型 (variationalgraphautoencoder,VGAE),将 VAE应用到对图结构数据的处理上．VGAE利用隐 变量学习出无向图的可解释隐表示,使用了图卷积 网络编码器和一个简单的内积解码器来实现这个模 型．

4. 未来研究展望 GNN

虽然起步较晚, 但由于其强大的性能, 已经取得了不俗的表现, 并且也在例如计算机视觉和推荐系统等实际应用中发挥着巨大的作用．不难发现, GNN 确实更符合当前实际应用的发展趋势, 所 以 在 近 几 年 才 会 得 到 越 来 越 多 人 的 关 注．但 是, GNN 毕竟起步较晚,还没有时间积累,研究的深度 和领域还不够宽广．目前来看,它依然面临着许多亟 待解决的问题,本节总结了 GNN 以后的研究趋势．

１) 动态图．目前,GNN 处理的图结构基本上都 是静态图,涉及动态图结构的模型较少[１３８Ｇ１３９],处理 动态图对 GNN 来说是一个不小的挑战．静态图的 图结构是静态不变的,而动态图的顶点和边是随机 变化的,甚至会消失,并且有时还没有任何规律可 循．目前针对 GNN 处理动态图结构的研究还是比 较少的,还不够成熟．如果 GNN 能够成功应用于动 态图结构上,相信这会使 GNN 的应用领域更加宽 广．将 GNN 模型成功地推广到动态图模型是一个 热点研究方向．

２) 异质图．同质图是指节点和边只有一种类型, 这种数据处理起来较容易．而异质图则是指节点和 边的类型不只一种,同一个节点和不同的节点连接 会表现出不同的属性,同一条边和不同的节点连接 也会表现出不同的关系,这种异质图结构处理起来 就相对复杂．但异质图却是和实际问题最为贴切的 场景,比如在社交网络中,同一个人在不同的社交圈 中可能扮演着父亲、老师等不同的角色．对于异质图 的研究还处在刚起步的阶段[１４０Ｇ１４１],模型方法还不 够完善．所以,处理异质图也是将来研究的一个热点．

３) 构建更深的图神经网络模型．深度学习的强 大优势在于能够形成多层的不同抽象层次的隐表 示,从而才能表现出优于浅层机器学习的强大优势． 但对于图深度学习来说,现有的图神经网络模型大 多还是只限于浅层的结构．通过实验发现,当构造多 层的神经网络时,实验结果反而变差．这是由过平滑 现象造成的,GNN 的本质是通过聚合邻居节点信息 来表征中心节点．当构造多层的神经网络之后,中心 节点和邻 居 节 点 的 差 异 就 会 变 得 微 乎 其 微,从 而 会导致分类结果变差．如何解决过平滑现象,使图神 经网络能够应用于更多层的结构,从而发挥出深度 学习的强大优势．虽然已有文献对其进行了讨论[９１], 但构建更深的图神经网络模型仍是值得深入研究的 问题．

４) 将图神经网络应用到大图上．随着互联网的 普及,图神经网络处理的数据也变得越来越大,致使 图中的节点数量变得巨大,这就给图神经网络的计 算带来了不小的挑战．虽然一些学者对该问题进行 了研究改进[１４２],但针对将图神经网络应用到大图 上的研究同样是将来研究的热点问题,在这方面,引 入摘要数据结构,构造局部图数据,并能适当地融合 局部图结构,形成整体图神经网络的表示是可能的 思路．

５) 探索图中更多有用的信息．在当前诸多学者 对于图神经网络模型的研究中,仅仅利用了图中节 点之间有无连接这一拓扑结构信息．但是,图是一个 非常复杂的数据结构,里面还有很多有用的信息未 被人们发现利用．比如,图中节点的位置信息．中心 节点的同阶邻居节点处于不同位置,距离中心节点 的远近不同应该会对中心节点产生的影响程度不 同．如果能够探索出图中更多的有用信息,必会将图 神经网络的性能提升一个层次,这是一个非常值得 探讨的问题．

６) 设计图神经网络的数学理论保障体系．任何 神经网络模型必须有强大的数学理论支撑才能发展 得更快,走得更远．现在对于图神经网络模型的设 计,大多还只是依靠研究者的经验和基于机理逻辑 设计出来的,并且对于图神经网络模型的性能分析 仅仅是从实验结果中得来,并没有从数学理论层面 给出 一 个 合 理 的 解 释．目 前,该 领 域 已 有 一 些 研 究[９０Ｇ９１],但为图神经网络设计出强大的数学理论,指 导图神经网络的构造、学习和推理过程．能够给出图 神经网络学习结果正确性的数学理论保障,仍是未 来发展的一个重要方向．

7. 图神经网络的工业落地．当前对于图神经网 络的研究大多还只是停留在理论层面,首先设计出模型,然后在公开数据集上进行测试验证,鲜有把工 业的实际情况考虑在内．虽然图神经网络在工业上 已有一小部分的实际应用,但还远没有达到大规模 应用的程度．任何研究只有真正地在工业界落地,才 能发挥它的应用价值,反之也会促进其进一步的研 究发展．尽快将图神经网络应用到实际的工业场景 中,是一个亟需解决的问题．