摘要

图神经网络(GNNs)已被证明在建模图结构的数据方面是强大的。然而,训练GNN通常需要大量指定任务的标记数据,获取这些数据的成本往往非常高。减少标记工作的一种有效方法是在未标记数据上预训练一个具有表达能力的GNN模型,并进行自我监督,然后将学习到的模型迁移到只有少量标记的下游任务中。在本文中,我们提出了GPT-GNN框架,通过生成式预训练来初始化GNN。GPT-GNN引入了一个自监督属性图生成任务来预训练一个GNN,使其能够捕获图的结构和语义属性信息。我们将图生成的概率分解为两部分:1)属性生成和2)边生成。通过对两个组件进行建模,GPT-GNN捕捉到生成过程中节点属性与图结构之间的内在依赖关系。在10亿规模的开放学术图和亚马逊推荐数据上进行的综合实验表明,GPT-GNN在不经过预训练的情况下,在各种下游任务中的表现显著优于最先进的GNN模型,最高可达9.1%。

**关键词:**生成式预训练,图神经网络,图表示学习,神经嵌入,GNN预训练

成为VIP会员查看完整内容
97

相关内容

图神经网络 (GNN) 是一种连接模型,它通过图的节点之间的消息传递来捕捉图的依赖关系。与标准神经网络不同的是,图神经网络保留了一种状态,可以表示来自其邻域的具有任意深度的信息。近年来,图神经网络(GNN)在社交网络、知识图、推荐系统、问答系统甚至生命科学等各个领域得到了越来越广泛的应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
注意力图神经网络的小样本学习
专知会员服务
190+阅读 · 2020年7月16日
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
【清华大学】图随机神经网络,Graph Random Neural Networks
专知会员服务
152+阅读 · 2020年5月26日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
中文版-BERT-预训练的深度双向Transformer语言模型-详细介绍
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
7+阅读 · 2018年3月21日
VIP会员
相关论文
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
15+阅读 · 2020年2月5日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
7+阅读 · 2018年3月21日
微信扫码咨询专知VIP会员