Graph neural networks (GNNs) have been widely used in representation learning on graphs and achieved state-of-the-art performance in tasks such as node classification and link prediction. However, most existing GNNs are designed to learn node representations on the fixed and homogeneous graphs. The limitations especially become problematic when learning representations on a misspecified graph or a heterogeneous graph that consists of various types of nodes and edges. In this paper, we propose Graph Transformer Networks (GTNs) that are capable of generating new graph structures, which involve identifying useful connections between unconnected nodes on the original graph, while learning effective node representation on the new graphs in an end-to-end fashion. Graph Transformer layer, a core layer of GTNs, learns a soft selection of edge types and composite relations for generating useful multi-hop connections so-called meta-paths. Our experiments show that GTNs learn new graph structures, based on data and tasks without domain knowledge, and yield powerful node representation via convolution on the new graphs. Without domain-specific graph preprocessing, GTNs achieved the best performance in all three benchmark node classification tasks against the state-of-the-art methods that require pre-defined meta-paths from domain knowledge.


翻译:图表神经网络(GNNs)被广泛用于在图表上进行代表学习,并在节点分类和链接预测等任务中达到最先进的性能,然而,大多数现有的GNNs旨在学习固定和同质图形上的节点表示。当在由各种节点和边缘组成的错误指定的图表或由不同类型节点和边缘组成的混合图上学习演示时,这些限制尤其成问题。在本文中,我们提议能够生成新图表结构的图形变换器网络(GNNs),这包括确定原始图表上未连接的节点之间的有用连接,同时学习以端到端的方式在新图表上的有效节点表示。GNNNs的图变层是GTNs的核心层,学会软化地选择边缘类型和复合关系,以产生有用的多点连接,即所谓的元路径。我们的实验显示,GTNS在没有域知识的情况下,根据数据和任务学习新的图形结构,并通过新图的演化产生强大的节点代表。没有域图预处理,GTNNNS在端到端图处理,GTNTN实现了最佳的业绩,因此需要所有领域前确定的元分类方法。

15
下载
关闭预览

相关内容

【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
110+阅读 · 2019年11月25日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
【NeurIPS2019】图变换网络:Graph Transformer Network
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Arxiv
13+阅读 · 2019年11月14日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
VIP会员
相关VIP内容
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
146+阅读 · 2020年6月28日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
Transformer文本分类代码
专知会员服务
116+阅读 · 2020年2月3日
【NeurIPS2019】图变换网络:Graph Transformer Network
专知会员服务
110+阅读 · 2019年11月25日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
57+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
Graph Neural Networks 综述
计算机视觉life
29+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
26+阅读 · 2019年5月18日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Arxiv
13+阅读 · 2019年11月14日
Signed Graph Attention Networks
Arxiv
7+阅读 · 2019年9月5日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
10+阅读 · 2018年2月4日
Arxiv
7+阅读 · 2018年1月10日
Top
微信扫码咨询专知VIP会员