简介: 主导图神经网络(GNN)完全依赖图连接,已经存在几个严重的性能问题,例如,过度平滑问题。此外,由于内存限制了节点之间的批处理,因此固定连接的特性会阻止图形内的并行化,这对于大型数据输入至关重要。在本文中,引入一种新的图神经网络,即GRAPH-BERT(基于图的BERT),该网络仅基于注意力机制而无需任何图卷积或聚合算法。本文在局部上下文中使用采样的无连接子图训练GRAPH-BERT。此外,如果有任何监督的标签信息或某些面向应用的目标,则可以使用其他最新的输出层对预训练的GRAPH-BERT模型进行微调。我们已经在多个基准图数据集上测试了GRAPH-BERT的有效性。在预训练的GRAPH-BERT具有节点属性重构和结构恢复任务的基础上,我们进一步针对节点分类和图聚类任务进一步调整GRAPH-BERT。

成为VIP会员查看完整内容
84

相关内容

芝加哥大学(TheUniversity of Chicago)位于美国伊利诺伊州芝加哥,是美国最富盛名的大学之一。芝加哥大学从建校起,便以宏观教育理念与微观实验精神奠定了她在美国教育史上的重要地位。同时,该校对于学术研究的贡献也使其拥有极高的声誉。
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
145+阅读 · 2020年6月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
【论文笔记】基于BERT的知识图谱补全
专知
116+阅读 · 2019年9月15日
精选论文 | 图神经网络时间节点【附打包下载】
人工智能前沿讲习班
17+阅读 · 2019年5月6日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
Transformer-XL:释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
图上的归纳表示学习
科技创新与创业
22+阅读 · 2017年11月9日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
Arxiv
33+阅读 · 2020年1月2日
Arxiv
15+阅读 · 2019年9月11日
Arxiv
4+阅读 · 2019年9月5日
Arxiv
10+阅读 · 2018年3月22日
Arxiv
7+阅读 · 2014年6月27日
VIP会员
相关VIP内容
【ICML2020】持续图神经网络,Continuous Graph Neural Networks
专知会员服务
145+阅读 · 2020年6月28日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
【论文笔记】基于BERT的知识图谱补全
专知
116+阅读 · 2019年9月15日
精选论文 | 图神经网络时间节点【附打包下载】
人工智能前沿讲习班
17+阅读 · 2019年5月6日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
448+阅读 · 2019年4月30日
Transformer-XL:释放注意力模型的潜力
谷歌开发者
31+阅读 · 2019年2月19日
图上的归纳表示学习
科技创新与创业
22+阅读 · 2017年11月9日
基于注意力机制的图卷积网络
科技创新与创业
73+阅读 · 2017年11月8日
相关论文
微信扫码咨询专知VIP会员