【NeurIPS2022】VICRegL:局部视觉特征的自监督学习

大多数最近的学习图像表示的自监督方法集中于生成具有不变性的全局特征或生成一组局部特征。前者最适合于分类任务，后者最适合于检测和分割任务。本文探讨了学习局部特征和全局特征之间的基本权衡。提出了一种新的VICRegL方法，该方法同时学习良好的全局和局部特征，在保持良好的分类任务性能的同时，在检测和分割任务上取得了优异的性能。具体地说，一个标准卷积网结构的两个相同的分支被提供相同图像的两个不同的扭曲版本。VICReg准则应用于全局特征向量对。同时，VICReg准则应用于出现在最后一个池化层之前的局部特征向量对。如果两个局部特征向量的l2距离小于阈值，或者它们的相对位置与两个输入图像之间的已知几何变换相一致，则它们会相互吸引。我们在线性分类和分割转移任务上展示了强大的性能。代码和经过预先训练的模型可以在https://github.com/facebookresearch/VICRegL上公开获取。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“VICR” 就可以获取《【NeurIPS2022】VICRegL:局部视觉特征的自监督学习》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料