对比学习(contrastive learning)是对于给定的正例样本和负例样本,通过让编码器学习如何去区分它们,从而捕捉到样本中最具判别性的特征。因为这种隶属于自监督学习的方式,模型框架清晰易懂,效果异常优越,受到了很多顶会论文的青睐。今天将分享两篇KDD2020会议上的论文:一篇将对比学习应用于图预训练任务上;另一篇深度解析了负采样技术在图表示学习中的作用,能为对比学习的进一步发展带来启发。

GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training

论文地址:https://arxiv.org/abs/2006.09963

本文提出了一种无监督的图表示学习预训练框架GCC,能够捕捉到广泛存在于不同图之间的拓扑性质,并且无需输入额外的属性或是标签。GCC将预训练任务设定为在同一张图内或不同图之间区分子图级别的实例,进一步利用对比学习使模型能够学到固有的、可迁移的结构表示。最后通过一系列的实验,验证了pre-training & fine-tuning模式在图表示学习中的巨大潜力。

Understanding Negative Sampling in Graph Representation Learning

论文地址:https://arxiv.org/abs/2005.09863

本文分别从目标函数和风险两个角度深刻剖析了负采样技术在图表示学习中起到的作用,并通过理论证明:负采样的分布应该和正样本分布呈正相关但是亚线性的关系。基于该理论,本文进一步提出了新的负采样策略,即MCNS,并利用改进版的Metropolis-Hastings算法对该过程进行了加速。

成为VIP会员查看完整内容
73

相关内容

通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同
【MIT】硬负样本的对比学习
专知会员服务
39+阅读 · 2020年10月14日
专知会员服务
28+阅读 · 2020年10月2日
专知会员服务
47+阅读 · 2020年9月20日
近期必读的六篇 ICML 2020【对比学习】相关论文
专知会员服务
56+阅读 · 2020年9月15日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
论文荐读:理解图表示学习中的负采样
学术头条
28+阅读 · 2020年5月29日
图表示学习Graph Embedding综述
AINLP
32+阅读 · 2020年5月17日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
图注意力网络
科技创新与创业
34+阅读 · 2017年11月22日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
7+阅读 · 2020年3月1日
Arxiv
5+阅读 · 2019年9月25日
Arxiv
11+阅读 · 2019年6月19日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
VIP会员
相关VIP内容
【MIT】硬负样本的对比学习
专知会员服务
39+阅读 · 2020年10月14日
专知会员服务
28+阅读 · 2020年10月2日
专知会员服务
47+阅读 · 2020年9月20日
近期必读的六篇 ICML 2020【对比学习】相关论文
专知会员服务
56+阅读 · 2020年9月15日
【KDD2020-UCLA-微软】GPT-GNN:图神经网络的预训练
专知会员服务
61+阅读 · 2020年8月19日
【ACMMM2020-北航】协作双路径度量的小样本学习
专知会员服务
28+阅读 · 2020年8月11日
【KDD2020-清华大学】图对比编码的图神经网络预训练
专知会员服务
43+阅读 · 2020年6月18日
相关资讯
【KDD2020】图神经网络生成式预训练
专知
20+阅读 · 2020年7月3日
论文荐读:理解图表示学习中的负采样
学术头条
28+阅读 · 2020年5月29日
图表示学习Graph Embedding综述
AINLP
32+阅读 · 2020年5月17日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
论文浅尝 | 图神经网络综述:方法及应用
开放知识图谱
113+阅读 · 2019年2月14日
图注意力网络
科技创新与创业
34+阅读 · 2017年11月22日
相关论文
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
7+阅读 · 2020年3月1日
Arxiv
5+阅读 · 2019年9月25日
Arxiv
11+阅读 · 2019年6月19日
Learning Embedding Adaptation for Few-Shot Learning
Arxiv
16+阅读 · 2018年12月10日
微信扫码咨询专知VIP会员