ICLR 2020 开源论文 | 多关系图神经网络CompGCN

©PaperWeekly 原创 · 作者｜纪厚业

学校｜北京邮电大学博士生

研究方向｜图神经网络、推荐系统

图神经网络已经成为图数据分析领域的经典算法了，各大顶会上相关的论文也层出不穷。但是，这些工作主要关注点都在如何在简单无向图上设计一个更新颖更复杂的模型，而没有从图数据的复杂程度来考虑。

实际生活中的图往往更加复杂。比如，知识图谱上的有向多关系图。下面是一个知识图谱的例子，这里有多种节点，如 London 和 United Kingdom；也有多种有向关系，如 Born-in 和 Citizen-of。注意，这里的关系是有方向的，Born-in 和 Bord-in_inv 是同一关系的两个方向。

可以看出，多关系图的建模是更符合实际也具有更高的应用价值。本文作者从实际的图数据特点出发，设计了一种针对多关系有向图的图神经网络 CompGCN 来同时学习节点和关系的表示。同时，为了降低大量不同类型关系带来的参数，这里作者设计了一种分解操作 composition operation，将所有关系都用一组基的加权组合来表示。这样用于描述关系的参数只和基的个数有关。 

论文链接：https://arxiv.org/abs/1911.03082

源码链接：https://github.com/malllabiisc/CompGCN

下图对比了几种图神经网络的特点，可以看出：学习关系的表示是 CompGCN 独有的特点。 

总的来说，本文的贡献有 3 点： 

• 设计了 CompGCN 模型，一种可以考虑多种关系信息的图神经网络框架，来同时学习节点和关系的表示。

  
  

• 证明了 CompGCN 与之前的多关系 GNN 之间的联系。

  
  

• 实验验证了 CompGCN 的有效性。

相关工作回顾

首先，作者回顾了多关系图及多关系图神经网络的做法。

多关系图中的边可以表示为 (u,v,r)，代表存在一条从节点 u 指向节点 v 的类型为 r 的边，其中 r∈R。同时，也存在一个相应的反向边 。 

多关系图神经网络，也是分别聚合特定关系 r 下的邻居：

其中， 是针对关系 r 的参数矩阵。而经典的单关系 GCN 聚合公式如下：

可以看出，两者主要差异就在  和 W。假设关系的种类非常多，那么参数矩阵  的个数也会非常多，引入了非常多的参数，不利于模型学习。

模型COMPGCN

本文综合考虑多关系图上的 3 种边类型：有向边 R，如 (u,v,r)；反向边 ，如 ；自连边 ，如 。自连边指的是一个节点可以连接到自身，这种连接关系类型为 。

有了边的集合，相应的邻居集合也就可以得到了。进一步，多关系图神经网络中聚合邻居的过程如下：

其中，(u,r)∈N(v) 是节点 v 的在关系 r 下的邻居集合， 是节点 v 的表示，是节点 u 的表示， 是针对关系 r 的投影矩阵。这里的  综合考虑节点及边关系的影响，即： 

本文设计了 3 种不同的函数：

考虑邻居节点的表示和边类型的区别，新的聚合公式如下： 

其中，λ(r) 是边的类型。回忆之前介绍的三种边类型：有向边，反向边，自连边。相应的投影矩阵也有 3 种。 

下图清晰展示了有向边和反向边的聚合过程：

为了能够统一的对节点和边进行运算，我们需要把边的表示从边空间（如 ）投影到节点空间（如 ）。

其中， 是一个边空间->节点空间的投影矩阵。 

CompGCN 为了降低大量边带来的参数复杂度，这里作者设计了一组基向量 。所有的边的表示都可以由一组基向量加权表示。

其中， 代表关系 r 在基向量  上的系数。 

上述过程实际描述的是 CompGCN 第一层的聚合过程，涉及到节点/ 边的空间投影及边的组合表示。在第二层及之后的聚合过程中并不需要投影/组合表示，聚合函数也有所不同。

最后作者分析了 CompGCN 与之前的一些模型的异同。可以看出，之前的很多图神经网络实际都可以认为是 CompGCN 的特例。

实验

这里，作者分别在链路预测，节点分类，图分类上进行了实验。 

在链路预测任务上（⻅Table 3），CompGCN 在大部分情况下取得了最优的效果。 

作者进一步测试了不同 composition operator 的影响，⻅ Table 4。

当采取 CovE+CompGCN (Corr) 的时候，模型取得了最佳的效果。 

CompGCN 的一个特点就是利用基向量来表示各个关系。作者进一步测试了基向量的个数对模型效果的影响。

Figure 3 可以看出，在基向量个数设置为 100 的时候，模型可以保持 99。4% 的效果。如果进一步降低基向量的个数，模型效果会持续下降。 

作者也测试了固定 5 个基向量的 CompGCN 与 R-GCN 的表现，⻅ Figure 4。可以看出，即使只有 5 个基向量，CompGCN 的效果也优于考虑所有关系的 R-GCN。

最后，作者也测试了 CompGCN 在节点分类/图分类上的效果，⻅ Table 5。在大部分情况下，CompGCN 都取得了最好的效果。

结论

本文提出了一种针对多关系图的图神经网络 CompGCN，可以同时学习到节点和边的表示。通过一组基向量，CompGCN 可以用较少的参数实现对大量关系的描述。最后，作者通过大量的实验验证了 CompGCN 的有效性。

点击以下标题查看更多往期内容： 

• 针对图嵌入模型的受限黑盒对抗攻击框架
  

• 深度学习模型不确定性方法对比
  

• ICLR 2020 | 隐空间的图神经网络：Geom-GCN
  

• 深度学习预训练模型可解释性概览
  

• 如何快速理解马尔科夫链蒙特卡洛法？
  

• 神经网络中的常用激活函数总结

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。

📝 来稿标准：

• 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向） 

• 如果文章并非首发，请在投稿时提醒并附上所有已发布链接 

• PaperWeekly 默认每篇文章都是首发，均会添加“原创”标志

📬 投稿邮箱：

• 投稿邮箱：hr@paperweekly.site 

• 所有文章配图，请单独在附件中发送 

• 请留下即时联系方式（微信或手机），以便我们在编辑发布时和作者沟通

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。