We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-the-art results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a protein-protein interaction dataset (wherein test graphs remain unseen during training).


翻译:我们展示了图形关注网络(GATs),新颖的神经网络结构,这些网络结构以图形结构数据运作,利用蒙面的自我注意层,解决先前基于图形变异或其近似的方法的缺陷。通过堆叠层,节点能够关注其周边特征,我们可以(隐含地)为邻里的不同节点指定不同的权重,而不需要任何昂贵的矩阵操作(如倒转),也不取决于是否了解图形结构。这样,我们同时应对光谱图形神经网络的若干关键挑战,并使我们的模型易于适用于感化和感化问题。我们的GAT模型已经实现或匹配了四个既定的感化和感化图形基准:科拉、热门和普布姆特的引用网络数据集,以及蛋白质互动数据集(在培训期间仍见于试验图 ) 。

10
下载
关闭预览

相关内容

图注意力网络(Graph Attention Network,GAT),它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现了对不同邻居权重的自适应分配,从而大大提高了图神经网络模型的表达能力。
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
153+阅读 · 2020年5月26日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
五篇 ICCV 2019 的【图神经网络(GNN)+CV】相关论文
专知会员服务
14+阅读 · 2020年1月9日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
【ICLR2020】五篇Open代码的GNN论文
专知会员服务
47+阅读 · 2019年10月2日
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
已删除
Arxiv
31+阅读 · 2020年3月23日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
11+阅读 · 2018年10月17日
Arxiv
9+阅读 · 2018年5月24日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关资讯
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
24+阅读 · 2019年5月22日
ICLR2019最佳论文出炉
专知
11+阅读 · 2019年5月6日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
计算机视觉近一年进展综述
机器学习研究会
8+阅读 · 2017年11月25日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
【音乐】Attention
英语演讲视频每日一推
3+阅读 · 2017年8月22日
相关论文
已删除
Arxiv
31+阅读 · 2020年3月23日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Self-Attention Graph Pooling
Arxiv
5+阅读 · 2019年4月17日
Factor Graph Attention
Arxiv
6+阅读 · 2019年4月11日
Arxiv
15+阅读 · 2019年4月4日
Arxiv
11+阅读 · 2018年10月17日
Arxiv
9+阅读 · 2018年5月24日
Arxiv
7+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员