【NeurIPS2022】VICRegL:局部视觉特征的自监督学习

大多数最近的学习图像表示的自监督方法集中于生成具有不变性的全局特征或生成一组局部特征。前者最适合于分类任务，后者最适合于检测和分割任务。本文探讨了学习局部特征和全局特征之间的基本权衡。提出了一种新的VICRegL方法，该方法同时学习良好的全局和局部特征，在保持良好的分类任务性能的同时，在检测和分割任务上取得了优异的性能。具体地说，一个标准卷积网结构的两个相同的分支被提供相同图像的两个不同的扭曲版本。VICReg准则应用于全局特征向量对。同时，VICReg准则应用于出现在最后一个池化层之前的局部特征向量对。如果两个局部特征向量的l2距离小于阈值，或者它们的相对位置与两个输入图像之间的已知几何变换相一致，则它们会相互吸引。我们在线性分类和分割转移任务上展示了强大的性能。代码和经过预先训练的模型可以在https://github.com/facebookresearch/VICRegL上公开获取。