【AAAI2023】用于图对比学习的谱特征增强

尽管增强(例如图边缘的扰动、图像裁剪)提高了对比学习(CL)的效率，但特征级增强是另一种看似合理的、互补的但未得到充分研究的策略。本文提出一种新的谱特征增强，用于图(和图像)上的对比学习。为此，对于每个数据视图，估计每个特征图的低秩近似，并从地图中减去该近似以获得其补集。这是通过本文提出的不完全幂迭代实现的，非标准幂迭代制度，具有两个有价值的副产物(仅在一或两次迭代下):(i)部分平衡特征图的频谱，(ii)将噪声注入到重新平衡的特征图奇异值中(谱增强)。对于两个视图，对齐这些重新平衡的特征图，这种改进的对齐步骤可以更多地关注两个视图矩阵的次要奇异值，而谱增强不影响谱角对齐(奇异向量没有被扰动)。推导了:(i)捕捉其频谱平衡效应的不完全幂迭代的解析形式，以及(ii)奇异值的方差被噪声隐式增强。谱增强还提高了泛化界。在图形/图像数据集上的实验表明，所提出的谱特征增强优于基线，并且与其他增强策略是互补的，并与各种对比损失兼容。

https://www.zhuanzhi.ai/paper/688feeae82a82b67e8636a4f38b7f520

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“GCLB” 就可以获取《【AAAI2023】用于图对比学习的谱特征增强》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料