论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络

2020 年 4 月 24 日 开放知识图谱

论文笔记整理:吴锐,东南大学计算机学院硕士。



 

     

来源:ICLR 2020

链接:https://arxiv.org/pdf/1911.03082.pdf

 

动机

 

目前针对于GCN的研究大多数都关注在学习无向图的结点表示上,然而我们在研究中更常见的通常是多关系图,例如知识图谱。因此,目前的大多数方法都无法直接应用在link prediction这一类需要对关系进行embedding表示的任务上。

KG-embedding的相关研究表明可以对边和结点的表示进行联合学习,但这些方法通常都受限于以link prediction为目标来学习embedding。虽然GCN能够以特定任务为目标进行学习,但其大多数应用都被限制在无关系图上。因此,本文考虑使用KG-embedding技术来学习特定任务下的关系和结点的embedding表示,COMPGCN应运而生。COMPGCN通过联合学习多关系图中的关系与结点的向量表示来解决了传统GCN所遇到的困难。主要贡献有以下几点:

  1. 提出COMPGCN,能够在GCN中对多种关系信息进行组合;

  2. 证明了CompGCN可以推广出已有的多关系GCN,并且可以随着关系数量的增长而不断扩展;

  3. 通过实验证明了方法的有效性。

 

背景知识

 

作者首先对一些背景知识进行了叙述,主要为针对无向图的GCN以及其对于有向图的扩展。无向图的表示如下:

             

其中V表示顶点集合,E表示边的集合,X则表示每个结点的输入特征。传统的单层的GCN可以得到如下的结点表示:

             

其中W表示模型的参数,f表示激活函数,可以认为H对图中每个结点的直接邻居进行了编码。如果要获得多跳的信息,可以用多层的GCN,如下:

             

其中k表示层数,则 W^k 表示特定层的参数。


对于有向图来说,GCN的表示如下式所示:

             

其中 W_r^k 表示针对于特定关系的参数。显然,关系越多就会导致参数越多。当关系的种类非常多时,就会引入非常多的参数,不利于模型进行学习。

 

CompGCN

 

首先,对于多关系图(其实就是有向图)的表示如下:

             

其中Z表示初始的关系特征,R表示可能的关系集合。

然后对边进行扩展。简单来说,就是对所有边添加一条反向边,并为每个结点添加一条指向自己的边:

             

在前面所提到的GCN的表达式,可以写成如下的形式:

             

其中N(v)表示结点v的出边相连的结点集合。CompGCN首先对相邻接点以及对应的边进行组合操作,以此来保证特征的维度是线性的,具体的更新公式如下:

             

其中x_ux_r 分别指代初始的结点和关系的特征,h_v 指代结点v更新后的表示,W_lamba(r)则是特定的关系类型的参数。在CompGCN中,作者用关系的方向的来进行区分:

             

             

此外,为了统一边与结点之间的运算,作者用一个投影矩阵将边空间投影到节点空间:

             

为了避免随着关系数量的增加所带来的参数复杂性,CompGCN使用了一组基来作为可学习的基础向量,而不是为每一个关系都定义一个embedding,如下式所示:

             

其中,              表示可学习的基向量,a_br 则表示特定关系、特定基对应的可学习的权重。综上所述,最终所得到的关于结点的k层之后的CompGCN的表达式如下:

             

关于关系的k层之后的CompGCN的表达式如下:

             

h_v^0和h_r^0表示初始的结点及关系特征。

最后,作者还分析指出,目前的很多图卷积神经网络都可以认为是CompGCN的一个特例,只不过是采取了不同的组合方式以及参数设置,如下表所示:

             

 

实验

 

作者分别在链路预测、结点分类以及图分类三个任务上进行了实验,同时在所有任务上,以Relational-GCN、Directed-GCN以及Weighted-GCN作为baseline进行对比。


1.针对链路预测任务,在FB15k-237以及WN18RR数据集上的实验结果如下:

             

可以看到在多个指标上,CompGCN都取到了最好的效果。

 

2. 作者测试了在链路预测任务上,不同的组合编码方式以及不同的评分函数所带来的不同效果,主要有以下三种组合方式:

             

其次,embedding的评分函数以及CompGCN的组合编码方式之间的关系如下图所示,可以帮助理解实验的过程:

             

 其中M代表组合编码方式,X表示评分函数,最终实验结果如下:

             

可以看到,在不同的评分函数下,CompGCN都取得了最好的效果。且ConvE+CompGCN(Corr)在所有实验中取得了最好的效果。

 

3. 作者通过调整关系数量以及基向量个数的方式,分析了CompGCN的scalability。主要分为以下几个方面:

a) 改变基向量个数带来的影响

             

可以看到模型的效果随着基向量的个数而不断提升,当取到100个基向量的时候,模型的效果与为每一种关系单独建立一个embedding的效果几乎一样。在前面的实验中我们可以看到,当取50的时候,CompGCN就能够有不错的表现了,

 

b) 改变关系数量带来的影响

             

可以看到,不管有多少个关系,CompGCN都能够取得不错的表现。

c) 与R-GCN的对比

             

 

可以看到,即使只用5个基向量,CompGCN的效果也在各种数量关系上全面优于考虑所有关系的R-GCN。


4. 针对结点分类(左)以及图分类(右)任务,实验结果如下图所示:

             

可以看到,在大部分情况下,CompGCN都取得了非常好的效果。




 

OpenKG


开放知识图谱(简称 OpenKG)旨在促进中文知识图谱数据的开放与互联,促进知识图谱和语义技术的普及和广泛应用。

点击阅读原文,进入 OpenKG 博客。


登录查看更多
21

相关内容

图卷积网络(简称GCN),由Thomas Kpif于2017年在论文Semi-supervised classification with graph convolutional networks中提出。它为图(graph)结构数据的处理提供了一个崭新的思路,将深度学习中常用于图像的卷积神经网络应用到图数据上。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
49+阅读 · 2020年4月2日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
67+阅读 · 2019年8月27日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
34+阅读 · 2019年3月17日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
13+阅读 · 2018年7月5日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
65+阅读 · 2018年6月30日
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
23+阅读 · 2018年2月27日
Arxiv
14+阅读 · 2019年11月26日
Arxiv
29+阅读 · 2019年3月13日
Arxiv
9+阅读 · 2018年10月18日
Arxiv
28+阅读 · 2018年4月6日
VIP会员
相关VIP内容
【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
49+阅读 · 2020年4月2日
【斯坦福大学-论文】实体上下文关系路径的知识图谱补全
【AAAI2020知识图谱论文概述】Knowledge Graphs @ AAAI 2020
专知会员服务
132+阅读 · 2020年2月13日
相关资讯
ACL 2019开源论文 | 基于Attention的知识图谱关系预测
论文浅尝 | 基于知识图谱中图卷积神经网络的推荐系统
开放知识图谱
67+阅读 · 2019年8月27日
论文浅尝 | 面向知识图谱补全的共享嵌入神经网络模型
开放知识图谱
30+阅读 · 2019年4月7日
论文浅尝 | TuckER:基于张量分解的知识图谱补全
开放知识图谱
34+阅读 · 2019年3月17日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
13+阅读 · 2018年7月5日
论文浅尝 | 用图网络做小样本学习
开放知识图谱
65+阅读 · 2018年6月30日
论文浅尝 | 基于置信度的知识图谱表示学习框架
开放知识图谱
23+阅读 · 2018年2月27日
Top
微信扫码咨询专知VIP会员