基于图神经网络的知识图谱研究进展

知识图谱本身是一种图结构数据，采用图构建知识和数据之间的关联，应用图神经网络技术，有望结合知识和数据，实现更好的可解释和可信人工智能技术。本文将介绍基于图神经网络的知识图谱学习与计算以及基于图神经网络融合知识图谱信息的应用的研究进展。

1

知识图谱与图神经网络

近几年来，人工智能技术得到了飞速发展，其进展突出体现在以知识图谱(Knowledge Graph)为代表的知识工程和以图神经网络(Graph Neural NetWorks, GNN)为代表的深度学习等相关领域。融合知识图谱与图神经网络已然成为研究人员进一步完善知识图谱学习与提升图神经网络模型推理能力的重要技术思路。

知识图谱是以图的形式表现客观世界中的实体及其之间关系的知识库，实体可以是真实世界中的物体或抽象的概念，关系则表示了实体间的联系。因此，知识图谱能够以结构化的形式表示人类知识，通过知识表示和推理技术，可以给人工智能系统提供可处理的先验知识，让其具有与人类一样的解决复杂任务的能力[1~3]。如何更好地构建、表示、补全、应用知识图谱，已经成为认知和人工智能领域重要的研究方向之一。

图神经网络的概念最早于2005年由戈里(Gori)等人[4]提出，是一种专门用于处理图结构数据的神经网络模型。使用图可以更准确和灵活地对现实应用中的数据建模，如在电子商务领域中的用户–产品交互图、化学领域的分子图、医药领域的药物副作用图等。因此，研究者们设计了多种图神经网络模型，包括图卷积网络(Graph Convolutional Network，GCN)[5~7]、图注意力网络(Graph Attention Network，GAT)[8]等。此外，由于异质图具有更灵活的建模和融合信息的能力[9]，研究者们还尝试设计和应用基于异质图的图神经网络模型[10~12]。如何设计更合理的图神经网络模型，使信息沿着图结构更合理地传播，从而提升模型对图结构数据的拟合能力，是人工智能领域的一个热点问题。

近年来，描述常识和事实的知识图谱成为了学术界和工业界广泛使用的知识表示方式，图神经网络在信息传播、关系归纳偏置上也展现了优秀的性能[13]。考虑到知识图谱本身恰好就是一种图结构数据，因此采用图构建知识和数据之间的关联，同时应用图神经网络技术，有望结合知识和数据实现更好的可解释和可信人工智能技术。一方面，利用图神经网络在学习节点、边表示上的优势，可以更好地学习知识图谱的实体、关系的嵌入表示，改善关系抽取等任务，帮助构建知识图谱，以及提高链接预测等任务，帮助补全知识图谱；另一方面，利用图神经网络在信息传播和推理上的优势，可以更有效地在应用任务中引入知识图谱中的信息，从而改善如文本挖掘、推荐系统、计算机视觉等领域中的应用效果，提供可解释的模型。

本文将对知识图谱与图神经网络模型相融合的方法及应用进行综述。

2

基于图神经网络的知识图谱学习与计算

由于知识图谱可以表征实体之间结构化的关系，如今已经成为认知和人工智能领域重要的研究方向。图神经网络利用深度神经网络对图数据中的拓扑结构信息和属性特征信息进行整合，进而提供更精细的节点或子结构的特征表示，并能很方便地以解耦或端到端的方式与下游任务结合，巧妙地满足了知识图谱对学习实体、关系的属性特征和结构特征的要求。本节主要从知识图谱中的5个典型任务介绍基于图神经网络的知识图谱学习方法。

知识图谱表示学习

知识图谱表示学习，即为知识图谱中的实体和关系学习出一个低维度的向量表示，同时包含一些语义信息，从而得以在下游任务中更加方便地提取和利用知识图谱中的信息，例如链接预测[10]、常识问答[1]等。通过应用图神经网络，在学习知识图谱的表示时，每个实体都将利用到与其相关的其他实体中的信息，打破了彼此之间的孤立性，从而学得更完整更丰富的实体、关系表示。

经典的翻译系列模型在知识表示和推理的问题上显示出强大的学习能力，例如图1（a）中，TransE(Translating Embedding)[14]提出头实体的向量表示加上关系的向量表示，应当等于尾实体的向量表示，通过这种约束，TransE学得了实体之间丰富的语义关系。Cai等人[15]将翻译系列模型的思想引入到了GCN[7]中，提出了TransGCN（如图1(b)所示），综合了TransE模型和图神经网络的优点。考虑到知识图谱中的关系具有不同种类的特点，关系图卷积网络(R-GCN)[10] 使用关系特定的变换矩阵扩展了GCN，如图1(c) 所示，并且为了缓解由于关系种类过于丰富而导致的参数量巨大的问题，提出了基分解和块对角分解两种正则化策略。当出现知识库之外的实体时，一种思路是利用相关的实体和关系学习新实体的表示，例如滨口(Hamaguchi)等人[16]提出使用图神经网络利用邻实体和对应的关系获得新实体的表示，并针对知识图谱的特点，为图神经网络提出了新的传播模型；Wang等人[17]进一步改进了传播模型，即逻辑注意力网络(Logic Attention Network，LAN)，以考虑实体邻域的无序性和不平等性质，从而更好地学习实体和对应的邻实体之间的关系。与以上研究不同的是，Hu等人提出了一种利用实体描述作为辅助文本的知识图谱表示学习方法Teger，如图1(d) 所示，它一方面利用GCN对辅助文本中的局部语义关系和长距离语义关系进行编码，另一方面基于TransE学得知识图谱的结构信息，从而通过结合两种途径得到了更精确的实体表示。GENI(GNN for Estimating Node Importance)[18]为了估计知识图谱中实体的重要性，提出了邻实体的重要性分数（而不是邻实体的特征）对中心实体的重要性评估起主要作用的观点，因此设计了预测感知的注意力机制和灵活的中心性调整策略，使重要性分数进行传播，而非实体表示。

信息抽取

信息抽取是指从非结构化、半结构化文档或句子中提取结构化信息的技术，与知识图谱的构建有着密切的联系，主要包括命名实体识别、实体消歧、关系抽取、指代消解等任务。近年来，已有许多研究将图神经网络应用于知识图谱的关系抽取任务，而在其他任务上对图神经网络的探索还较少。通过图神经网络可以对句子内或句间词与词的关联关系进行有效建模，从而更准确地捕捉实体间的关系。

关系抽取，即从文本中识别抽取实体对之间的语义关系。例如，从句子“[贾玲]，80后相声新秀，师承中国著名相声表演艺术家[冯巩]”中识别出实体“[贾玲]”和“[冯巩]”之间具有“师生”关系。在关系抽取中，许多工作基于句子的依赖树使用GCN对词之间的依赖关系进行编码，或基于知识图谱表示进行句子编码，从而预测关系类别。如图2(a) 所示，C-GCN(Contextualized GCN)[19]是一种基于上下文的GCN模型，该模型将句子的依赖树进行剪枝，只保留与实体对的依赖关系路径部分；基于注意力的图卷积网络(Attention Guided Graph Convolutional Network，AGGCN)[20]也在句子的依赖树上使用GCN模型，但采用了多头注意力机制以一种软加权的方式对边（依赖关系）进行选择，如图2(b)所示；与之前两个基于依赖树的模型不同，Zhang等人[21]将GCN用于编码关系的层次结构，提出了一种由粗到细粒度的知识感知注意机制以提高关系抽取的效果，如图2(c)所示。以上三种方法均用于单句上的关系抽取，而萨胡(Sahu)等人[22]则将包含多个句子的整个文档进行构图，如图2(d)所示，图中的节点代表单词，边代表多种单句内和跨句间的关系，然后应用GCN更新图节点的表示，从而进行跨句关系抽取的任务。

实体消歧，即对于从文本中抽取得到的实体对象，将其链接到知识库中对应的正确实体对象。如图3所示，Hu等人[23]提出了一种图神经实体消歧模型(Graph Neural Entity Disambiguation, GNED)，首先为文档构造实体–词异质图，对文档中的实体之间的语义关系进行编码；然后将GCN应用于该异质图，获得语义信息增强的实体表示；最后采用条件随机场来结合实体链接的局部和全局信息。

实体对齐

实体对齐是将从知识图谱中学习到的描述同一目标的实体或概念进行合并，再将合并后的实体集与开放链接数据中抽取的实体进行合并，旨在融合多个知识图谱形成一个更完整的知识图谱。由于图神经网络具有识别同构子图的能力[24]，而可对齐的实体对周围通常有相似的邻居，即具有一定的同构特征，因此目前有许多研究者尝试将图神经网络用于实体对齐。

Cao等人[25]提出了一种新的多通道图神经网络模型(Multi-Channel Graph Neural Network，MuGNN)，来为两个不同的知识图谱中的待对齐实体学习鲁棒表示。该模型还对规则进行了推断和传递，以进一步增强两个知识图谱的一致性。Zhang等人[26]提出了一种统一的框架LinKG来合并不同来源的知识图谱，同时为了将歧义性强的实体（如人名）正确对齐，还提出了一种异质图注意力网络(Heterogeneous Graph Attention Network)，在相关的子图上学习每对候选者是否匹配。Sun等人[27]指出大量的对应实体对不具有同构的邻居结构，导致图神经网络为此类实体产生的实体表示并不匹配，由此提出AliNet(Alignment Network)，基于注意力机制引入了远距离的邻居以扩展邻居结构的重叠部分，增强了对应实体对的同构性。在实体对齐中有一类特殊的子任务，即跨语言实体对齐。Wang等人[28]通过多个GCN实现跨语言实体对齐。该方法分别使用一个GCN将每种语言的实体和关系分别嵌入到一个统一的空间中，从而为属性和结构都学习一个表示，最后基于这两种表示进行实体对齐。与之不同的是，Xu等人[29]基于给定实体的邻域子图，将实体对齐问题转化为了图匹配问题，提出了一种基于图注意力的方法，对两个实体子图中的所有实体进行匹配，并对局部匹配信息建模，最终得到一个图级别的匹配向量。

链接预测

链接预测是用于预测知识图谱中实体对之间所缺少关系的任务，具有广泛的应用范围，旨在解决知识图谱不完整的问题。链接预测与知识图谱表示学习有着不可分割的联系，一方面表示学习通常需要用链接预测评价优劣[10,15]，另一方面链接预测的模型通常也会学得实体和关系的表示。许多工作利用图神经网络为实体引入邻实体和对应关系的信息，学得更全面的实体表示，从而更准确地预测实体之间的链接关系。

GMatching[30]开发了一种基于度量小样本学习方法，它利用R-GCN[10]为单跳邻居进行编码从而捕捉局部的图结构信息。由于R-GCN的一个不足之处是平等地对待邻域中的不同实体，SACN（Structure-Aware Convolutional Network）[31]引入了加权GCN来定义具有相同关系类型的两个相邻实体之间的相关性，利用节点结构、节点属性和关系类型来获取知识图谱中的结构信息，最后送入解码器Conv-TransE来预测关系是否成立。解码器采用ConvE[32]来度量语义的匹配程度，同时还可以获得TransE[14]的翻译特性。目前常见的学习个性化权重的方式是引入注意力机制，因此纳撒尼尔(Nathani)等人[33]引入GAT[8]使得链接预测时可以在利用邻实体信息的同时，依据多头注意力机制为不同邻实体分配不同的权重。Zhang等人[34]进一步提出了一种基于层次注意力的关系图神经网络(RGHAT)，第一层是关系级别的注意力，其灵感来自不同关系对某一实体的指示权重不同的直觉；第二层是实体级别关注，使得模型能够突出同一关系下不同相邻实体的重要性。G2SKGE[35]采用了实体和对应的邻域构建子图，并设计了一种信息融合机制图到序列(Graph to Sequence generator，Graph2Seq)，从而利用图神经网络的框架来学习知识图谱中的实体表示。

知识推理

与链接预测相似，知识推理是从给定的知识图谱中推导出实体与实体之间的新关系，但知识推理所获得的关系通常需要在知识图谱中进行多跳的推理过程。知识推理是一些下游任务的重要支撑之一，例如知识库问答[1~3]。由于图神经网络在推理能力上的优势[13]，近年来被一些研究者尝试用于知识推理任务。

Xu等人[36]提出了一种用于大规模知识图谱推理任务的图神经网络(Dynamically Pruned Message Passing Network，DPMPN)，如图4(a)所示，它包含两个遵循消息传递神经网络[37]架构的模块，其中一个用于全局的信息传播，另一个用于局部的信息传播。Zhang等人[38]提出了一个名为ExpressGNN的图神经网络用于概率逻辑推理，它将马尔可夫逻辑网络(Markov logic network)[39]引入到了图神经网络框架，从而将逻辑规则和概率图模型与图神经网络结合在一起。Lin等人[1]提出了一个基于图的关系推理模型KagNet(Knowledge-aware graph Network)，如图4(b)所示，该模型使用GCN更新知识图谱中的实体表示后，利用长短期记忆网络(Long Short-Term Memory，LSTM)为候选路径打分，从而选出最佳的推理路径。如图4(c)所示，认知图谱问答(CogQA)[3]则使用BERT(Bidirectional Encoder Representations from Transformers)输出的若干片段构建一个认知图谱，并利用图神经网络的信息传播机制，实现在认知图谱上的多跳推理计算。

3

基于图神经网络的知识图谱应用

描述常识和事实的知识图谱是学术界和工业界广泛使用的知识表示方式，采用图构建知识和数据之间的关联，是一种直接且有效的将知识和数据结合的方式。受益于图神经网络技术在信息传播和推理上的优势，知识图谱中的先验知识被有效地引入到应用任务中。

文本挖掘

知识图谱由自然语言构建而来，因此与文本挖掘的联系颇深。知识图谱在大部分的文本挖掘任务中都有大量的应用，其中应用最广泛的是知识库问答任务。在文本分类、文本生成等任务中，知识图谱也都扮演了非常重要的角色。

知识库问答是对知识图谱最直接的应用任务，即基于知识图谱中的结构化知识，分析用户自然语言问题的语义，进而在知识图谱中通过检索、匹配或推理等方式进行回答。由于图神经网络在推理能力尤其是多跳推理上的优势[13]，已有大量工作将图神经网络用于知识库问答任务。KagNet[1]寻找实体之间的潜在路径并对其打分来确定最佳路径，从而选出最佳答案。首先基于知识图谱将问题抽取为结构化的图，并基于外部知识图谱扩展为该问题的相关子图，然后使用GCN更新节点表示，最后使用LSTM为路径打分，即选出最佳的推论。CogQA[3]根据人类的认知方式1设计了两个模块，分别对应于人类的两种认知模式，模块一基于BERT在文本中抽取与问题相关的实体名称，并扩展节点和汇总语义向量；模块二则利用图神经网络在模块一中构建的认知图谱上进行多跳推理计算。De Cao等人[2] 首先根据涉及的实体进行构图，然后根据文档内和跨多个文档传播的信息使用GCN进行聚合和多步推理。类似地，Ye等人[40]提出知识增强图神经网络(Knowledge-enhanced Graph Neural Network，KGNN)，利用知识图谱中的关系事实为段落中的实体构建实体图谱，从而使用图神经网络对多个段落进行推理。Lv等人[41]使用结构化的ConceptNet和非结构化的Wikipedia作为两个外部知识源，并根据问题和答案选项，从两个知识源中抽取出证据并依此构建为图，然后使用GCN更新节点表示并使用注意力机制融合得到图级别的表示，最后用于答案的推断。

在文本分类[12]、文本生成[42,43]、分类法构建[44]等任务中，引入知识图谱中的先验知识，可以使模型更准确地理解自然语言的含义。Hu等人[12]提出了一种异质图神经网络HGAT(Heterogeneous Graph Attention Network)用于短文本分类，如图5所示，首先基于知识库构造包含短文本、实体、主题三类节点的短文本异质图，从而利用知识库中的知识增强短文本中的信息，设计了一种带有双层注意力机制的异质图神经网络，用于获得知识增强的短文本表示，从而提高分类效果。Hu等人还将HGAT用于虚假新闻检测，提出由于虚假新闻的虚假性特征，会导致所含实体的表示会与知识库中的实体表示有较大差异，因此通过HGAT学习融合了新闻内容的实体表示，并通过一个匹配网络模块度量与知识库中的实体表示之间的差异性，从而提高检测效果。Koncel-Kedziorski等人[42]提出了一种新的图转换器(graph transformers)用于编码知识图谱中包含的节点、关系信息，从而结合给定的待生成文本标题，利用解码器实现对应文本的生成。Chen等人[43]提出了一种双向Graph2Seq模型，利用知识图谱中的结构信息，使用双向门控图神经网络(Bidirectional Gated Graph Neural Network，BiGGNN)学习图谱节点表示，以一种带有节点级别的复制机制的LSTM作为解码器来生成文本。Graph2Taxo[44]是一种基于图神经网络的跨域知识迁移框架，用于分类法构建的任务，它使用一个由上下位词候选对构造的有噪声图，以及一些已知域的一组分类，利用图神经网络指导未知领域的分类结构学习。

推荐系统

为了解决推荐系统中的稀疏性问题和冷启动问题，一种可行的思路是将知识图谱作为外部信息整合到推荐系统中，使推荐系统具有常识推理能力。研究者们基于图神经网络强大的聚合信息以及推理能力，设计了基于图神经网络和知识图谱的推荐系统，有效地提升了推荐命中率。此外，图神经网络的信息传播与推理能力也为推荐结构提供了一定的可解释性。

RippleNet[45]将知识图谱特征学习和推荐算法的目标函数结合，使用端到端的方法进行联合学习，从而将知识图谱作为额外信息融入至推荐系统。如图6(a)所示，知识图谱卷积网络神经网络(Knowledge Graph Convolutional Network，KGCN)[46]通过扩展知识图谱中每个实体的感受野，捕捉用户的高阶个性化兴趣，同时对商品之间的潜在联系建模，从而提高推荐的准确性。如图6(b)所示，知识图谱注意力网络(Knowledge Graph Attention Network，KGAT)[47]进一步引入知识感知的注意力机制，从融合知识图谱的用户–商品交互图中传播高阶链接路径的信息。Wang等人[48]提出了基于标签平滑正则的知识感知图神经网络(KGNN-LS)，首先将知识图谱转换为用户相关的带权图，然后使用该图神经网络计算个性化的商品嵌入，从而提升推荐效果。

计算机视觉

人类区别于现代计算机视觉算法的一个特征是获得知识并使用该知识推理视觉世界的能力，从而可以通过很少的例子认知视觉世界[49]。研究者们考虑到图神经网络在学习节点和边的表示方面的优势，应用了图神经网络来学习利用图像中的目标与知识图谱之间的关联关系。

马连奴(Marino)等人[49]首先根据大规模图像数据集中的一些先验知识构建了一个知识图谱，如图7(a)所示，包括目标–属性和目标–目标之间的关系，并基于该结构化的先验知识，提出了图搜索神经网络(Graph Search Neural Network)，将先验知识引入图像分类从而提高分类效果。类似地，如图7(b)所示，Wang等人[50]提出了图注意力机制来从图像中识别社交关系，首先根据大规模图像数据集构建了一个描述社交关系和目标共现的知识图谱，然后采用门控图神经网络(Gated Graph Neural Network，GGNN)利用该知识图谱中的语义结构信息学习更准确的节点和关系表示，从而提高了图像中社交关系识别的性能。Wang等人[51]则使用从知识图谱中学得的标签语义嵌入和标签间的关系，将一种多层GCN训练为一个零样本图像分类器。

4

总结与展望

结合知识图谱和图神经网络的相关研究已经成为人工智能领域的一个热点方向。知识图谱可以为各类学习任务提供良好的先验知识，图神经网络则可以更好地支持图数据的学习任务。但是，目前基于图神经网络的知识图谱学习、计算与应用的研究都还相对较少，未来仍有巨大的发展空间，例如基于图神经网络的知识图谱自动构建、基于异质图神经网络的知识融合、基于元路径或图神经网络的知识图谱复杂推理、基于图神经网络的可解释性学习等。

自动构建

当前的知识图谱高度依赖于人工构建，构建特定领域的知识图谱又是企业应用里不可或缺的现实需求。在学习建模实体的时间信息和实体动力学方面，已有一些基于传统深度学习的工作，但通常无法将知识图谱作为一个整体对其动态性进行建模。因而，利用最近的一些动态图神经网络的方法例如图时空网络，同时建模并预测微观层面上的实体以及宏观层面上的图谱的变化规律，是一个值得关注的方向。

融合知识

采用图构建知识和数据之间的关联从而引入知识图谱，是目前研究的一种主流思路之一。通常，真实数据中的交互关系有丰富的属性特征（如用户–商品交互图中用户和商品都带有丰富的属性特征），而知识图谱则是关系特征丰富的，即相对更侧重于结构性。此外，知识图谱中的本体概念层包含大量的谓词逻辑规则知识，如何设计更合适的图神经网络模型弥补这三者之间的语义鸿沟，从而更好地融合知识图谱中的先验知识，将是一个研究难点。一种直接的思路是利用异质图神经网络的方法，考虑节点的异质性和多模态性，从而用适合各类型的不同方式对不同的信息进行融合。

复杂推理

由于基于嵌入的方法在复杂的逻辑推理上有局限性，因而可以进一步探讨关系路径和符号逻辑两个方向。异质图上的元路径定义了高阶的语义关系，而知识图谱可看作一种特殊的异质图，将基于异质图神经网络的消息传递与基于强化学习的路径查找和约减相结合，是一种可行的处理复杂推理的思路。研究者们最近的工作将概率图模型（如马尔科夫网）与图神经网络相结合，旨在消息传递时发现并推理逻辑规则，而利用此类模型挖掘知识图谱上的推理规则，也是一个值得注意的研究方向。

可解释性

深度学习的黑盒问题被人诟病已久，图神经网络的信息传播机制相较传统深度学习模型更具有可解释性。知识图谱提供了现实世界的事实知识，利用图神经网络模型尤其是概率图神经网络应用在知识图谱中实现逻辑推理，从而显式地生成基于知识图谱的推理路径，或许可以期待打开深度学习的黑盒。　

脚注

1 双过程理论(dual process theory)认为，人的认知分为两个系统，其一是基于直觉的、无知觉的思考系统，其运作依赖于经验和关联；其二是人类特有的逻辑推理能力，此系统利用工作记忆中的知识进行慢速但是可靠的逻辑推理。

 阅读原文，直达“ ECCV”小组，了解更多会议信息！