【芝加哥大学】GRAPH-BERT: Only Attention is Needed for Learning Graph Representations

简介： 主导图神经网络（GNN）完全依赖图连接，已经存在几个严重的性能问题，例如，过度平滑问题。此外，由于内存限制了节点之间的批处理，因此固定连接的特性会阻止图形内的并行化，这对于大型数据输入至关重要。在本文中，引入一种新的图神经网络，即GRAPH-BERT（基于图的BERT），该网络仅基于注意力机制而无需任何图卷积或聚合算法。本文在局部上下文中使用采样的无连接子图训练GRAPH-BERT。此外，如果有任何监督的标签信息或某些面向应用的目标，则可以使用其他最新的输出层对预训练的GRAPH-BERT模型进行微调。我们已经在多个基准图数据集上测试了GRAPH-BERT的有效性。在预训练的GRAPH-BERT具有节点属性重构和结构恢复任务的基础上，我们进一步针对节点分类和图聚类任务进一步调整GRAPH-BERT。