【CVPR2020-Facebook AI】前置不变表示的自监督学习

2020 年 4 月 19 日 专知


从图像中进行自监督学习的目标是通过不需要对大量训练图像进行语义注释的前置任务来构造语义上有意义的图像表示。许多前置任务导致与图像变换协变的表示。相反,我们认为语义表示在这种转换下应该是不变的。具体来说,我们开发了前置不变表示学习(PIRL,发音为“pearl”),该学习基于前置任务的不变表示。我们将PIRL与一个常用的前置任务一起使用,该任务涉及解决拼图游戏。我们发现,PIRL极大地提高了学习图像表示的语义质量。我们的方法设置了一个新的艺术的自监督学习从图像上几个流行的基准自我监督学习。尽管是无监督的,但PIRL在学习图像表示和目标检测方面的表现优于有监督的前训练。总之,我们的结果证明了具有良好不变性的图像表示的自监督学习的潜力。

https://arxiv.org/abs/1912.01991

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“PIRL” 就可以获取【CVPR2020-Facebook AI】前置不变表示的自监督学习》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
2

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
179+阅读 · 2020年5月29日
【ACL2020-Facebook AI】大规模无监督跨语言表示学习
专知会员服务
33+阅读 · 2020年4月5日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
Arxiv
4+阅读 · 2019年4月3日
Arxiv
7+阅读 · 2018年4月24日
Arxiv
8+阅读 · 2018年4月12日
VIP会员
Top
微信扫码咨询专知VIP会员