MoCL: Contrastive Learning on Molecular Graphs with Multi-level Domain Knowledge

Authors: Mengying Sun, Jing Xing, Huijun Wang, Bin Chen, Jiayu Zhou

近年来,利用图神经网络解决药物相关问题在生物医学领域得到了迅速发展。然而,就像任何其他深度架构一样,GNN是数据需求型的。虽然在现实世界中要求标签通常是昂贵的,但以一种无监督的方式对GNN进行预处理已经被积极地探索。其中,图对比学习通过最大化成对图增强之间的互信息,已被证明对各种下游任务是有效的。然而,目前的图对比学习框架有两个局限性。首先,增强是为一般图设计的,因此对于某些领域可能不够合适或不够强大。第二,对比方案只学习对局部扰动不变的表示,因此不考虑数据集的全局结构,这也可能对下游任务有用。因此,本文研究生物医学领域中存在分子图的图对比学习。我们提出了一个新的框架MoCL,利用领域知识在局部和全局水平上帮助表示学习。局部层次的领域知识指导扩展过程,这样在不改变图语义的情况下引入变体。全局层次的知识对整个数据集图之间的相似性信息进行编码,并帮助学习具有更丰富语义的表示。整个模型通过双对比目标学习。我们评估了在线性和半监督设置下的多种分子数据集上的MoCL,结果表明MoCL达到了最先进的性能。

成为VIP会员查看完整内容
38

相关内容

通过潜在空间的对比损失最大限度地提高相同数据样本的不同扩充视图之间的一致性来学习表示。对比式自监督学习技术是一类很有前途的方法,它通过学习编码来构建表征,编码使两个事物相似或不同
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
26+阅读 · 2021年7月21日
专知会员服务
45+阅读 · 2021年6月20日
专知会员服务
37+阅读 · 2021年5月28日
专知会员服务
40+阅读 · 2021年5月24日
专知会员服务
38+阅读 · 2021年5月16日
【WWW2021】少样本图学习分子性质预测
专知会员服务
35+阅读 · 2021年2月20日
专知会员服务
45+阅读 · 2020年10月22日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
33+阅读 · 2020年6月27日
【AAAI2021】对比聚类,Contrastive Clustering
专知
25+阅读 · 2021年1月30日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年8月7日
专知会员服务
64+阅读 · 2021年7月25日
专知会员服务
26+阅读 · 2021年7月21日
专知会员服务
45+阅读 · 2021年6月20日
专知会员服务
37+阅读 · 2021年5月28日
专知会员服务
40+阅读 · 2021年5月24日
专知会员服务
38+阅读 · 2021年5月16日
【WWW2021】少样本图学习分子性质预测
专知会员服务
35+阅读 · 2021年2月20日
专知会员服务
45+阅读 · 2020年10月22日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
33+阅读 · 2020年6月27日
相关资讯
【AAAI2021】对比聚类,Contrastive Clustering
专知
25+阅读 · 2021年1月30日
KDD20 | AM-GCN:自适应多通道图卷积网络
专知
8+阅读 · 2020年8月26日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
基于 GNN 的图表示学习
DataFunTalk
9+阅读 · 2020年1月17日
虚拟对抗训练:一种新颖的半监督学习正则化方法
人工智能前沿讲习班
8+阅读 · 2019年6月9日
微信扫码咨询专知VIP会员