图神经网络(GNN)已经成为图表示学习的事实标准,它通过递归地聚集图邻域的信息来获得有效的节点表示。尽管 GNN 可以从头开始训练,但近来一些研究表明:对 GNN 进行预训练以学习可用于下游任务的可迁移知识能够提升 SOTA 性能。但是,传统的 GNN 预训练方法遵循以下两个步骤:

在大量未标注数据上进行预训练; 在下游标注数据上进行模型微调。 由于这两个步骤的优化目标不同,因此二者存在很大的差距。

在本文中,我们分析了预训练和微调之间的差异,并为了缓解这种分歧,我们提出了一种用于GNNs的自监督预训练策略L2P-GNN。方法的关键是L2P-GNN试图以可转移的先验知识的形式学习如何在预训练过程中进行微调。为了将局部信息和全局信息都编码到先验信息中,我们在节点级和图级设计了一种双重自适应机制。最后,我们对不同GNN模型的预训练进行了系统的实证研究,使用了一个蛋白质数据集和一个文献引用数据集进行了预训练。实验结果表明,L2P-GNN能够学习有效且可转移的先验知识,为后续任务提供好的表示信息。我们在https://github.com/rootlu/L2P-GNN公开了模型代码,同时开源了一个大规模图数据集,可用于GNN预训练或图分类等。

总体来说,本文的贡献如下:

  • 首次探索学习预训练 GNNs,缓解了预训练与微调目标之间的差异,并为预训练 GNN 提供了新的研究思路。
  • 针对节点与图级表示,该研究提出完全自监督的 GNN 预训练策略。
  • 针对预训练 GNN,该研究建立了一个新型大规模书目图数据,并且在两个不同领域的数据集上进行了大量实验。实验表明,该研究提出的方法显著优于 SOTA 方法。

成为VIP会员查看完整内容
114

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
40+阅读 · 2021年1月9日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【AAAI2021】层次推理图神经网络
专知会员服务
67+阅读 · 2020年12月27日
专知会员服务
106+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
专知会员服务
19+阅读 · 2020年12月11日
专知会员服务
18+阅读 · 2020年12月9日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
7+阅读 · 2020年8月26日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
11+阅读 · 2018年10月17日
Arxiv
3+阅读 · 2018年2月7日
VIP会员
相关VIP内容
专知会员服务
40+阅读 · 2021年1月9日
【AAAI2021】记忆门控循环网络
专知会员服务
47+阅读 · 2020年12月28日
【AAAI2021】层次推理图神经网络
专知会员服务
67+阅读 · 2020年12月27日
专知会员服务
106+阅读 · 2020年12月21日
【AAAI2021】 层次图胶囊网络
专知会员服务
80+阅读 · 2020年12月18日
专知会员服务
19+阅读 · 2020年12月11日
专知会员服务
18+阅读 · 2020年12月9日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
相关资讯
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
7+阅读 · 2020年8月26日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
注意力图神经网络的多标签文本分类
专知
8+阅读 · 2020年3月28日
微信扫码咨询专知VIP会员