【AAAI2023】用于图对比学习的谱特征增强

尽管增强(例如图边缘的扰动、图像裁剪)提高了对比学习(CL)的效率，但特征级增强是另一种看似合理的、互补的但未得到充分研究的策略。本文提出一种新的谱特征增强，用于图(和图像)上的对比学习。为此，对于每个数据视图，估计每个特征图的低秩近似，并从地图中减去该近似以获得其补集。这是通过本文提出的不完全幂迭代实现的，非标准幂迭代制度，具有两个有价值的副产物(仅在一或两次迭代下):(i)部分平衡特征图的频谱，(ii)将噪声注入到重新平衡的特征图奇异值中(谱增强)。对于两个视图，对齐这些重新平衡的特征图，这种改进的对齐步骤可以更多地关注两个视图矩阵的次要奇异值，而谱增强不影响谱角对齐(奇异向量没有被扰动)。推导了:(i)捕捉其频谱平衡效应的不完全幂迭代的解析形式，以及(ii)奇异值的方差被噪声隐式增强。谱增强还提高了泛化界。在图形/图像数据集上的实验表明，所提出的谱特征增强优于基线，并且与其他增强策略是互补的，并与各种对比损失兼容。

https://www.zhuanzhi.ai/paper/688feeae82a82b67e8636a4f38b7f520