【CVPR2022】基于渐进自蒸馏的鲁棒跨模态表示学习

2022 年 4 月 13 日 专知


CLIP视觉语言方法的学习目标未能有效地考虑到网络采集的图像描述数据集存在的多对多的噪声,导致其计算和数据效率低下。为了解决这一挑战,我们引入了一种基于跨模态对比学习的新训练框架,该框架使用渐进自蒸馏和软图像-文本对齐,以更有效地从噪声数据中学习鲁棒表示。我们的模型提炼自己的知识,为每个小批中的图像子集和标题动态地生成软对齐目标,然后用来更新其参数。在14个基准数据集上的广泛评估表明,我们的方法在多种设置下始终优于CLIP对应的方法,包括:(a)零样本分类,(b)线性探针传输,(c)图像-文本检索,而不增加计算成本。使用基于ImageNet的鲁棒性测试平台的分析表明,与经过ImageNet训练的模型和CLIP本身相比,我们的方法对自然分布转移提供了更好的有效鲁棒性。最后,使用两个数量级的数据集进行预训练表明,我们对CLIP的改进往往与训练示例的数量成比例。


https://arxiv.org/abs/2204.04588



专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“LPSD” 就可以获取【CVPR2022】基于渐进自蒸馏的鲁棒跨模态表示学习》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资料
登录查看更多
4

相关内容

【CVPR2022】带噪声标签的少样本学习
专知会员服务
38+阅读 · 2022年4月15日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
专知会员服务
19+阅读 · 2021年5月4日
专知会员服务
20+阅读 · 2021年5月1日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
【CVPR2021】背景鲁棒的自监督视频表征学习
专知会员服务
15+阅读 · 2021年3月13日
专知会员服务
61+阅读 · 2021年3月12日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
【CVPR2022】带噪声标签的少样本学习
专知
1+阅读 · 2022年4月15日
【CVPR2022】视频对比学习的概率表示
专知
1+阅读 · 2022年4月12日
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
【CVPR2021】现实世界域泛化的自适应方法
专知
5+阅读 · 2021年3月31日
CVPR2021-单目实时全身捕捉的方法
专知
0+阅读 · 2021年3月18日
【CVPR2021】空间一致性表示学习
专知
0+阅读 · 2021年3月12日
【CVPR2021】跨模态检索的概率嵌入
专知
16+阅读 · 2021年3月2日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
19+阅读 · 2020年12月23日
VIP会员
相关VIP内容
【CVPR2022】带噪声标签的少样本学习
专知会员服务
38+阅读 · 2022年4月15日
【AAAI2022】基于双流更新的视觉Transformer动态加速方法
专知会员服务
23+阅读 · 2021年12月11日
专知会员服务
19+阅读 · 2021年5月4日
专知会员服务
20+阅读 · 2021年5月1日
【CVPR2021】基于端到端预训练的视觉-语言表征学习
专知会员服务
37+阅读 · 2021年4月9日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
53+阅读 · 2021年3月31日
【CVPR2021】背景鲁棒的自监督视频表征学习
专知会员服务
15+阅读 · 2021年3月13日
专知会员服务
61+阅读 · 2021年3月12日
【CVPR2021】自监督几何感知
专知会员服务
45+阅读 · 2021年3月6日
【CVPR2021】跨模态检索的概率嵌入
专知会员服务
19+阅读 · 2021年3月2日
相关资讯
【CVPR2022】带噪声标签的少样本学习
专知
1+阅读 · 2022年4月15日
【CVPR2022】视频对比学习的概率表示
专知
1+阅读 · 2022年4月12日
【CVPR2021】基于Transformer的视频分割领域
专知
2+阅读 · 2021年4月16日
【CVPR2021】现实世界域泛化的自适应方法
专知
5+阅读 · 2021年3月31日
CVPR2021-单目实时全身捕捉的方法
专知
0+阅读 · 2021年3月18日
【CVPR2021】空间一致性表示学习
专知
0+阅读 · 2021年3月12日
【CVPR2021】跨模态检索的概率嵌入
专知
16+阅读 · 2021年3月2日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员