关系图注意力网络-Relational Graph Attention Networks

2019 年 4 月 22 日 专知
关系图注意力网络-Relational Graph Attention Networks
导读

关系图卷积网络(RGCNs)是GCNS对关系图域的一种扩展。本文以RGCN为出发点,研究了一类关系图注意力网络(RGATs)模型,将关注机制扩展到关系图域。

作者 | Dan Busbridge, Dane Sherburn, Pietro Cavallo & Nils Y. Hammerla

编译 | Xiaowen



【论文便捷下载】

请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“RGAT”就可以获取《关系图注意力网络》的论文PDF下载链接~

我们研究了关系图注意力网络,这类模型扩展了非关系图的注意力机制以合并关系信息,从而为更广泛的问题开辟了一些方法。我们对这些模型进行了彻底的评估,并与既定的基准进行了比较。为了提供一个有意义的比较,我们重新训练了关系图卷积网络(Relational Graph Convolutional Networks),即关系图注意力网络的谱对应体(spectral counterpart of Relational Graph Attention Networks),并在相同的条件下对它们进行了评价。我们发现关系图注意力网络的性能比预期差,尽管一些配置对模拟分子特性有一定的帮助。我们对此提出了见解,并建议对评价战略的修改,以及今后工作的研究方向。


本文以RGCN为出发点,研究了一类关系图注意力网络(RGATs)模型,将关注机制扩展到关系图域。我们考虑两个变体,内部关系图注意力(WIRGAT)和跨关系图注意力(ARGAT),每个变量都具有加性和乘性注意力。我们进行了广泛的超参数搜索,并对具有挑战性的传感器节点分类和归纳图分类任务进行了评估。将这些模型与已建立的基准以及重新调整的RGCN模型进行比较。


内部关系图注意力(WIRGAT)结构图



跨关系图注意力(ARGAT)



结点分类任务



-END-

专 · 知

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询技术商务合作~

专知《深度学习:算法到实战》课程全部完成!530+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
113

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。

题目: Heterogeneous Graph Attention Network

摘要: 图神经网络作为一种基于深度学习的功能强大的图表示技术,表现出了优越的性能,引起了广泛的研究兴趣。然而,对于包含不同节点和链接类型的异构图,图神经网络还没有充分考虑到这一点。异构性和丰富的语义信息给异构图的图神经网络设计带来了很大的挑战。最近,深度学习领域最令人兴奋的进展之一是注意力机制,其巨大的潜力在各个领域都得到了很好的展示。本文首先提出了一种基于分层关注的异构图神经网络,包括节点级关注和语义级关注。具体来说,节点级注意的目的是学习节点与其基于元路径的邻居之间的重要性,而语义级注意能够学习不同元路径之间的重要性。通过对节点级和语义级注意的学习,可以充分考虑节点和元路径的重要性。然后将基于元路径的邻域的特征分层聚合,生成节点嵌入。在三个真实世界的异构图上的广泛实验结果不仅显示了我们所提出的模型的优越性能,而且也显示了它对图分析的潜在良好的可解释性。

成为VIP会员查看完整内容
0
61

题目: Composition-Based Multi-Relational Graph Convolutional Networks

摘要: 图卷积网络(GCNs)最近被证明在对图结构数据建模方面是非常成功的。然而,主要的重点是处理简单的无向图。多关系图是一种更为普遍和流行的图,其中每条边都有一个与之相关的标签和方向。现有的大多数处理此类图的方法都存在参数过多的问题,并且仅限于学习节点的表示形式。在本文中,我们提出了一种新的图卷积框架COMP-GCN,它将节点和关系共同嵌入到一个关系图中。COMP-GCN利用知识图谱嵌入技术中的各种实体关系组合操作,并根据关系的数量进行扩展。它还概括了几种现有的多关系GCN方法。我们评估了我们提出的方法在多个任务,如节点分类,链接预测,和图分类,并取得了明显的结果。

成为VIP会员查看完整内容
0
93
小贴士
相关VIP内容
专知会员服务
114+阅读 · 2020年5月26日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
151+阅读 · 2020年4月26日
相关论文
Ankit Pal,Muru Selvakumar,Malaikannan Sankarasubbu
39+阅读 · 2020年3月22日
Signed Graph Attention Networks
Junjie Huang,Huawei Shen,Liang Hou,Xueqi Cheng
6+阅读 · 2019年9月5日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
10+阅读 · 2019年6月13日
Generative Graph Convolutional Network for Growing Graphs
Da Xu,Chuanwei Ruan,Kamiya Motwani,Evren Korpeoglu,Sushant Kumar,Kannan Achan
3+阅读 · 2019年3月6日
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
Ningyu Zhang,Shumin Deng,Zhanlin Sun,Guanying Wang,Xi Chen,Wei Zhang,Huajun Chen
8+阅读 · 2019年3月4日
Hao Peng,Jianxin Li,Qiran Gong,Senzhang Wang,Yuanxing Ning,Philip S. Yu
5+阅读 · 2019年2月25日
Wenqi Fan,Yao Ma,Qing Li,Yuan He,Eric Zhao,Jiliang Tang,Dawei Yin
7+阅读 · 2019年2月19日
Yao Ma,Ziyi Guo,Zhaochun Ren,Eric Zhao,Jiliang Tang,Dawei Yin
15+阅读 · 2018年10月24日
Petar Veličković,Guillem Cucurull,Arantxa Casanova,Adriana Romero,Pietro Liò,Yoshua Bengio
7+阅读 · 2018年2月4日
Top