【CVPR2023】基于文本驱动软掩码的多模态表示学习

本文提出一种自监督学习框架内的视觉语言表示学习方法，通过引入新的操作、损失和数据增强策略。首先，通过软掩蔽图像中与对应标题中的某个单词最相关的区域，而不是完全删除它们，为图像文本匹配(image text matching, ITM)任务生成多样化的特征。由于该框架只依赖于没有细粒度注释的图像-标题对，通过使用多模态编码器计算单词条件视觉注意来识别每个单词的相关区域。通过提出图像-文本对比学习(ITC)目标的焦点损失，鼓励模型更多地关注难的但多样化的例子，这缓解了过拟合和偏差问题的固有局限性。通过挖掘各种示例，通过屏蔽文本和对图像渲染失真，对自监督学习进行多模态数据增强。这三种创新的结合对学习预训练模型是有效的，导致在多个视觉-语言下游任务上的出色表现。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复或发消息“MTDM” 就可以获取《【CVPR2023】基于文本驱动软掩码的多模态表示学习》专知下载链接

                       

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取100000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取100000+AI主题知识资料