Deep learning on graphs has attracted significant interests recently. However, most of the works have focused on (semi-) supervised learning, resulting in shortcomings including heavy label reliance, poor generalization, and weak robustness. To address these issues, self-supervised learning (SSL), which extracts informative knowledge through well-designed pretext tasks without relying on manual labels, has become a promising and trending learning paradigm for graph data. Different from SSL on other domains like computer vision and natural language processing, SSL on graphs has an exclusive background, design ideas, and taxonomies. Under the umbrella of graph self-supervised learning, we present a timely and comprehensive review of the existing approaches which employ SSL techniques for graph data. We construct a unified framework that mathematically formalizes the paradigm of graph SSL. According to the objectives of pretext tasks, we divide these approaches into four categories: generation-based, auxiliary property-based, contrast-based, and hybrid approaches. We further conclude the applications of graph SSL across various research fields and summarize the commonly used datasets, evaluation benchmark, performance comparison and open-source codes of graph SSL. Finally, we discuss the remaining challenges and potential future directions in this research field.


翻译:最近,对图表的深入学习吸引了很大的兴趣。然而,大多数作品都集中在(半)监督的学习上,导致缺陷,包括严重依赖标签、笼统化和薄弱的强力。为了解决这些问题,自我监督的学习(SSL)通过设计良好的借口任务而获得信息,而不必依靠人工标签,已经成为图表数据的一个有希望和有趋势的学习模式。在计算机视觉和自然语言处理等其他领域,与SSL不同,图表上的SSL有一个独家的背景、设计想法和分类。在图形自我监督学习的总括之下,我们及时和全面地审查了使用SSLL图表数据技术的现有方法。我们建立了一个统一的框架,从数学上将图形SSL的范式正规化。根据借口任务的目标,我们将这些方法分为四类:基于生成的、基于辅助产权的、基于对比的和混合方法。我们进一步完成了图表在各种研究领域的应用,并总结了常用的数据集、评价基准、业绩比较和开放源代码。最后,我们讨论了该图表的实地研究方向和未来方向。

12
下载
关闭预览

相关内容

最新《自监督表示学习》报告,70页ppt
专知会员服务
71+阅读 · 2020年12月22日
最新《联邦学习Federated Learning》报告,Federated Learning
专知会员服务
69+阅读 · 2020年12月2日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
61+阅读 · 2020年4月24日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
111+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
58+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
25+阅读 · 2019年10月9日
已删除
将门创投
4+阅读 · 2019年8月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
3+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
25+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
Arxiv
43+阅读 · 2021年5月3日
Arxiv
21+阅读 · 2021年3月20日
Arxiv
14+阅读 · 2020年10月26日
Arxiv
116+阅读 · 2020年9月6日
A Comprehensive Survey on Transfer Learning
Arxiv
106+阅读 · 2019年11月7日
Few-shot Learning: A Survey
Arxiv
346+阅读 · 2019年4月10日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
4+阅读 · 2017年4月12日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2019年8月22日
Transferring Knowledge across Learning Processes
CreateAMind
11+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
3+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
25+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
9+阅读 · 2017年9月24日
相关论文
Arxiv
43+阅读 · 2021年5月3日
Arxiv
21+阅读 · 2021年3月20日
Arxiv
14+阅读 · 2020年10月26日
Arxiv
116+阅读 · 2020年9月6日
A Comprehensive Survey on Transfer Learning
Arxiv
106+阅读 · 2019年11月7日
Few-shot Learning: A Survey
Arxiv
346+阅读 · 2019年4月10日
Arxiv
44+阅读 · 2018年12月11日
Arxiv
4+阅读 · 2017年4月12日
Top
微信扫码咨询专知VIP会员