论文浅尝 | 融合多层次领域知识的分子图对比学习

2021 年 8 月 15 日 开放知识图谱

笔记整理 | 方尹，浙江大学在读博士，研究方向：图表示学习

论文地址：https://arxiv.org/pdf/2106.04509.pdf

动机

目前基于图的对比学习有以下几个问题：

不同领域的图，（比如social network和分子图）它们的图结构信息和图的semantics是不同的，因此很难设计一个通用的、适用于所有场景的数据增强方法；大多数方法只关心局部结构而忽略了全局结构，比如结构相似的两个图在embedding space也会更接近；对比的scheme不是单一的，对比可以发生在节点-图，节点-节点，图-图之间。

对比学习本身也有一些待解决的问题，之前很多对比学习方法是通过最大化一对graph augmentation之间的互信息来实现的：在高维情况下正确估计互信息很困难；最大化互信息和对比学习之间的联系尚不明确。

贡献

提出了一种基于局部领域知识的分子图augmentation方法；

提出了一种全局的对比损失，并将局部对比损失和全局对比损失线性组合作为总体损失。

模型与算法

局部水平：在graph augmentation中注入了领域知识

1.图上半部分为传统的图增强方法：丢掉节点、移动边、提取子图、mask属性，下半部分为提出的增强方法。把重要的子结构替换掉，但仍保持相似的性质。这里是替换了官能团，加上或去除普通的C原子，不影响替换前后分子图的性质。这一步引入了领域知识。

2.局部对比最大化两个augmented views的互信息。

3.每个样本的对比学习损失，其中s是衡量两个embedding相似度的函数。

全局水平：考虑了整体的graph semantic

1.定义了两个分子图之间的相似性，再最大化两个相似图之间的互信息。定义分子图相似性这一步用到了领域知识，因为分子的相似性就是分子指纹的谷本系数。

2.两种计算全局损失的方法：

Connection to Metric Learning

MoCL的损失是局部损失和全局损失的加和。引理设定了一些前提，比如分子相似度函数、参数，最终损失可以表示为三个triplet loss之和。因此，MoCL的优化目标是拉近正样本对，同时从局部和全局角度推开负样本对。

实验与结果

Q1:注入局部领域知识的对比学习是否学到了比普通augmentation方法更好的图表示？不同的图增强组合表现如何？

每个cell表示从头训练的GNN与用不同的augmentation组合方法训练的模型在linear protocol下的performance有多少进步。蓝色代表负值，红色代表正值。MoCL-DK得到的表示加上线性分类器产生的预测准确率与GNN效果（bace、bbbp、sider）相当，甚至比它更好（clintox , mutag）。可以看到包含MoCL-DK 的行和列的值通常更高，因此MoCL-DK 与其他augmentation方法相结合几乎总是能产生更好的结果。属性屏蔽和 MoCL-DK 通常在所有场景中都有效，将它们结合起来通常会有更好的性能。这验证了我们之前的假设，即 MoCL-DK 和属性屏蔽不违反生物学假设，因此比其他增强效果更好。