AAAI2023|图对比学习的模型增强技巧

作者：北邮 GAMMA Lab 硕士生公绪蒙

论文名称: MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning 发表会议: AAAI2023 论文地址: https://arxiv.org/pdf/2212.07035.pdf

1 简介

对比学习（Contrastive Learning）是一种无监督的表示学习方法，其通过数据增强和负采样获得正负样本，并使用目标函数增大正样本对之间的相似度，减小负样本对间的相似度，以获得具有判别性的表征。对比学习常用的损失函数InfoNCE如下：对比学习最早在CV中取得了广泛应用，通过对目标样本（图像）进行数据增强(如，旋转，裁剪，加入噪声等)以获得样本的不同views，以该图像的不同views作为正样本，其依赖于一种先验知识，即数据增强不会影响图像的标签，举例来说，对于某个图像来说（比如一个狗狗的图片），无论对其进行旋转，裁剪，加入噪声等各种操作，该图像在人看来还是一只狗，而不会变成汽车，所以数据增强后的图像还可以作为原样本的正样本。然而，在Graph数据中，常见的数据增强方式（如：随机删除/添加边或节点）是否能保证该Graph的标签不变呢，举个简单的例子：化学中某些有机物分子可以由原子和化学键组成的Graph进行表示，而同分异构体之间具有相同的节点，不同的边，类似的结构，可以看做是对方进行删除/添加边得到的增强图，但同分异构体却通常有着不同的功能和性质（标签）。也就是说，在图对比学习（Graph Contrastive Learning）中，数据增强给原样本中带来的噪声很有可能改变图的标签，使得学到的图表征效果变差。在本篇工作中，我们认为，在GCL中传统的Graph Data Augmentation和固定的视图编码器架构不足以产生具有足够差异性的视图，所以我们提出了图模型增强的概念，图模型增强可以生成更加diverse的视图，并提出了三种不同的模型增强策略，分别是非对称，随机和洗牌策略，并基于这三种策略，提出了一种新的图对比学习模型MA-GCL（Model Augmentation Graph Contrastive Learning）。

2 方法介绍

2.1 预备知识

在本篇工作中，我们使用GNN作为view encoder，并且使用一种新的方式来形式化GNN，GNN可以由传播和转换两种算子组成，其中传播算子g是将图滤波器F和节点特征Z进行运算得到；而转换算子h则是将节点特征Z和参数矩阵W进行运算并通过非线性转换得到。以下公式则是利用h算子和g算子形式化了GCN和SGC两种常用的GNN encoders

2.2 非对称策略

该策略的动机可以由以上韦恩图所展示，红色的圈为与下游任务相关的信息，蓝色和绿色的圈则是对比学习生成的两个视图所包含的信息，当我们采用固定的对称的视图编码器时，如a所示，在InfoNCE loss的作用下两个视图的互信息，也就是区域C+D会被最大化，但是和任务相关的信息只有区域D，C也会变大是我们不想要的，而当我们采用非对称的视图架构时，如b所示区域C也就是和任务无关的噪声会被减少。该策略的核心思想是两个视图编码器之间具有共享的模型参数，但是传播层数（g算子数量）不同时，可以过滤高频噪声。当采用SGC作为视图编码器，并且假设节点特征为独热向量时，InfoNCE损失函数可以重写为以下最优化问题的形式：随后我们证明了定理1（具体证明可见论文附录），通过定理1，可以得到一个结论就是当采用非对称的视图编码器时，最优化问题的最优解W只由图滤波矩阵和其特征值决定，和GCL引入的数据增强无关。相反，如果采用对称的视图编码器结构，可以证明最优解不但和滤波矩阵有关，还和引入的数据增强有关，就会把数据增强中可能对图性质造成破坏的噪声引入到图表征中。