【KDD2020-清华大学】图对比编码的图神经网络预训练

2020 年 6 月 18 日 专知


图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而,现有的图表示学习技术侧重于特定领域的问题,并为每个图训练专用的模型,这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发,我们设计了图对比编码(GCC)——一种无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络中或跨网络的子图级实例识别,并利用对比学习来授权模型学习内在的和可转移的结构表示。我们对三个图学习任务和十个图数据集进行了广泛的实验。结果表明,在一组不同的数据集上进行预训练的GCC可以取得与任务相关的从零开始训练的GCC具有竞争力或更好的性能。这表明,预训练和微调范式为图表示学习提供了巨大的潜力。

https://arxiv.org/abs/2006.09963



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GCCP” 可以获取《KDD2020-图对比编码的图神经网络预训练》专知下载链接索引

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“阅读原文”,了解使用专知,查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

注意力图神经网络的小样本学习
专知会员服务
191+阅读 · 2020年7月16日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
最新《动态网络嵌入》综述论文,25页pdf
专知
32+阅读 · 2020年6月17日
Network Embedding 指南
专知
21+阅读 · 2018年8月13日
Attentive Graph Neural Networks for Few-Shot Learning
Arxiv
40+阅读 · 2020年7月14日
Arxiv
5+阅读 · 2019年9月25日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Arxiv
3+阅读 · 2018年5月20日
VIP会员
相关VIP内容
注意力图神经网络的小样本学习
专知会员服务
191+阅读 · 2020年7月16日
【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
62+阅读 · 2020年1月10日
必读的7篇 IJCAI 2019【图神经网络(GNN)】相关论文
专知会员服务
91+阅读 · 2020年1月10日
Top
微信扫码咨询专知VIP会员