【CVPR2022】UniVIP：自监督视觉预训练的统一框架

论文标题：UniVIP: A Unified Framework for Self-Supervised Visual Pre-training

论文链接：https://arxiv.org/abs/2203.06965

作者单位：中国科学院自动化研究所 & 商汤科技 & 南洋理工大学

自监督学习 (SSL) 有望利用大量未标记的数据。然而，流行的 SSL 方法的成功仅限于像 ImageNet 中的单中心对象图像，并且忽略了场景和实例之间的相关性，以及场景中实例的语义差异。为了解决上述问题，我们提出了统一自监督视觉预训练（UniVIP），这是一种新颖的自监督框架，用于在单中心对象或非标志性数据集上学习通用视觉表示。该框架考虑了三个层次的表示学习：1）场景-场景的相似性，2）场景-实例的相关性，3）实例的判别。在学习过程中，我们采用最优传输算法来自动测量实例的区分度。大量实验表明，在非标志性 COCO 上预训练的 UniVIP 在图像分类、半监督学习、对象检测和分割等各种下游任务上实现了最先进的传输性能。此外，我们的方法还可以利用 ImageNet 等单中心对象数据集，并且在线性探测中使用相同的预训练 epoch 时比 BYOL 高 2.5%，并且在 COCO 数据集上超越了当前的自监督对象检测方法，证明了它的普遍性和潜在性能。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“UniVIP” 就可以获取《【CVPR2022】UniVIP：自监督视觉预训练的统一框架》专知下载链接

请扫码加入专知人工智能群（长按二维码），或者加专知小助手微信（zhuanzhi02），加入专知主题群（请备注主题类型：AI、NLP、CV、 KG、论文等）交流~

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资源