Transformer架构最近在图表示学习中获得了越来越多的关注,因为它通过避免图神经网络(GNN)的严格结构归纳偏差,而只通过位置编码对图结构进行编码,从而自然地克服了图神经网络(GNN)的一些限制。在这里,我们展示了使用位置编码的Transformer生成的节点表示不一定捕获它们之间的结构相似性。为了解决这个问题,我们提出了结构感知Transformer (Structure-Aware Transformer),这是一类建立在一种新的自注意力机制上的简单而灵活的图Transformer。这种新的自注意在计算自注意之前,通过提取基于每个节点的子图表示,将结构信息融入到原始自注意中。我们提出了几种自动生成子图表示的方法,并从理论上表明,生成的表示至少与子图表示一样具有表现力。从经验上讲,我们的方法在5个图预测基准上达到了最先进的性能。我们的结构感知框架可以利用任何现有的GNN来提取子图表示,我们表明,相对于基本GNN模型,它系统地提高了性能,成功地结合了GNN和transformer的优势。我们的代码可以在这个 https: //github.com/BorgwardtLab/SAT. 中找到。

成为VIP会员查看完整内容
34

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
11+阅读 · 7月31日
【ICML2022】时序自监督视频transformer
专知会员服务
18+阅读 · 7月28日
【ICML2022】在线决策Transformer
专知会员服务
20+阅读 · 7月27日
【ICML2022】Transformer是元强化学习器
专知会员服务
36+阅读 · 6月15日
【NeurIPS 2021】流形上的注意力机制:规范等变的Transformer
专知会员服务
13+阅读 · 2021年9月15日
专知会员服务
18+阅读 · 2021年8月23日
专知会员服务
31+阅读 · 2021年7月17日
专知会员服务
73+阅读 · 2021年5月10日
ICML 2022 | 图神经网络的局部增强
PaperWeekly
1+阅读 · 8月4日
【ICML2022】在线决策Transformer
专知
0+阅读 · 7月27日
GNN + Transformer = GraphFormers
图与推荐
3+阅读 · 2021年11月24日
【NeurIPS2019】图变换网络:Graph Transformer Network
深度学习的下一步:Transformer和注意力机制
云头条
46+阅读 · 2019年9月14日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
Arxiv
11+阅读 · 2月23日
Arxiv
80+阅读 · 2021年6月8日
Arxiv
13+阅读 · 2021年3月29日
Arxiv
11+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
11+阅读 · 2019年6月13日
Arxiv
27+阅读 · 2018年4月12日
VIP会员
相关VIP内容
【ICML2022】深入研究置换敏感的图神经网络
专知会员服务
11+阅读 · 7月31日
【ICML2022】时序自监督视频transformer
专知会员服务
18+阅读 · 7月28日
【ICML2022】在线决策Transformer
专知会员服务
20+阅读 · 7月27日
【ICML2022】Transformer是元强化学习器
专知会员服务
36+阅读 · 6月15日
【NeurIPS 2021】流形上的注意力机制:规范等变的Transformer
专知会员服务
13+阅读 · 2021年9月15日
专知会员服务
18+阅读 · 2021年8月23日
专知会员服务
31+阅读 · 2021年7月17日
专知会员服务
73+阅读 · 2021年5月10日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2010年12月31日
相关论文
Arxiv
11+阅读 · 2月23日
Arxiv
80+阅读 · 2021年6月8日
Arxiv
13+阅读 · 2021年3月29日
Arxiv
11+阅读 · 2020年2月5日
Self-Attention Graph Pooling
Arxiv
11+阅读 · 2019年6月13日
Arxiv
27+阅读 · 2018年4月12日
微信扫码咨询专知VIP会员