【ICML2021】白化自监督表示学习

当前的大多数自监督表示学习 (SSL) 方法都基于对比损失和实例判别任务，即其中同一图像实例的数据增强版本（“正样本”）与从其他图像中提取的实例（“负样本”）进行对比。为了保证学习有效，应将许多负样本与正样本对进行比较，这在计算上要求很高。在本文中，我们为SSL提出了一个不同的方向和一个新的损失函数，它基于对隐空间特征的白化操作，且只需要正样本对，无需负样本对的训练。白化操作对批量样本具有“散射”效应，避免只用正样本时所有样本表示收敛到单个点的退化解。同时，和先前无需负样本的SSL相比，所提方法不需要非对称网络，并且在概念上也很简单。

本篇论文的贡献有：

1.本文提出了一种新的SSL损失函数，Whitening MSE (W-MSE)。W-MSE 将批量样本限制在球形分布中，它是对比损失的替代方法。 2.所提的损失函数不需要大量的负样本，因此我们可以在当前批次中包含更多的正样本对。同时，论文实验证明了从一张图像中提取的多个正样本对可提高了模型性能。 3.通过相关实验验证了W-MSE的在各个任务上的有效性。

https://www.zhuanzhi.ai/paper/9c729151ab1b8c390da98df4caae91f5