The dominant paradigm for machine learning on graphs uses Message Passing Graph Neural Networks (MP-GNNs), in which node representations are updated by aggregating information in their local neighborhood. Recently, there have been increasingly more attempts to adapt the Transformer architecture to graphs in an effort to solve some known limitations of MP-GNN. A challenging aspect of designing Graph Transformers is integrating the arbitrary graph structure into the architecture. We propose Graph Diffuser (GD) to address this challenge. GD learns to extract structural and positional relationships between distant nodes in the graph, which it then uses to direct the Transformer's attention and node representation. We demonstrate that existing GNNs and Graph Transformers struggle to capture long-range interactions and how Graph Diffuser does so while admitting intuitive visualizations. Experiments on eight benchmarks show Graph Diffuser to be a highly competitive model, outperforming the state-of-the-art in a diverse set of domains.


翻译:在图形上进行机器学习的主导模式是使用信息传递图像神经网络(MP-GNNs),在图形中,节点表示通过汇总当地周边的信息来更新。最近,人们越来越多地尝试将变换器结构调整为图形,以努力解决MP-GNN的某些已知局限性。设计图变器的一个挑战性方面是将任意图形结构纳入结构中。我们建议图形Diffuser(GD)来应对这一挑战。GD学会在图形中提取遥远节点之间的结构和定位关系,然后用它来引导变换器的注意力和节点表示。我们证明现有的GNNS和图变换器在努力捕捉远程互动和图变换器如何这样做,同时接受直观的视觉化。对八个基准的实验显示,图形Diffuser是一个高度竞争的模型,在一系列不同领域优于最新技术。</s>

0
下载
关闭预览

相关内容

百篇论文纵览大型语言模型最新研究进展
专知会员服务
69+阅读 · 2023年3月31日
Graph Transformer近期进展
专知会员服务
61+阅读 · 2023年1月5日
专知会员服务
60+阅读 · 2020年3月19日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
12+阅读 · 2022年11月21日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
15+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
15+阅读 · 2019年4月4日
Deep Graph Infomax
Arxiv
17+阅读 · 2018年12月21日
Arxiv
29+阅读 · 2018年4月6日
VIP会员
相关资讯
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
相关论文
Arxiv
12+阅读 · 2022年11月21日
Knowledge Embedding Based Graph Convolutional Network
Arxiv
24+阅读 · 2021年4月23日
Arxiv
101+阅读 · 2020年3月4日
Arxiv
15+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
13+阅读 · 2019年6月13日
Arxiv
15+阅读 · 2019年4月4日
Deep Graph Infomax
Arxiv
17+阅读 · 2018年12月21日
Arxiv
29+阅读 · 2018年4月6日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员