【CVPR2022】UTC: 用于视觉对话的任务间对比学习的统一Transformer

2022 年 5 月 4 日 专知


视觉对话旨在回答基于对话历史和图像内容的多轮互动问题。现有方法要么单独考虑答案排序和生成,要么仅通过两个单独的模型微弱地捕捉两个任务之间的关系。在单一模型中共同学习排序和生成答案的通用框架的研究很少。在本文中,我们提出了一个基于对比学习的框架UTC,以统一和促进识别任务和生成任务在视觉对话中使用单一的模型。具体来说,考虑到之前学习范式的内在局限性,我们设计了两种任务间对比损失,即情境对比损失和答案对比损失,使区分性任务和生成性任务相辅相成。这两种互补的对比损失利用对话语境和目标答案作为锚点,从不同的角度提供表征学习信号。我们在VisDial v1.0数据集上评估我们提出的UTC,在那里,我们的方法在鉴别和生成任务上优于最先进的技术,并在Recall@1上超过2个绝对点。


 


https://www.zhuanzhi.ai/paper/527537bf22a0260715026e0ea474fb5f


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“UTC” 就可以获取【CVPR2022】UTC: 用于视觉对话的任务间对比学习的统一Transformer》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资料
登录查看更多
6

相关内容

联合技术公司(United Technologies Corporation,UTC)是美国第22大制造商,主要经营项目包括飞机发动机、直升机、空调系统、燃料电池、电梯、滚梯、防火与安全设备、建筑设备和其他工业设备。2020年与雷神公司一起组建雷神科技公司。
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
12+阅读 · 2022年5月4日
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
17+阅读 · 2022年2月26日
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
专知会员服务
38+阅读 · 2021年5月16日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
48+阅读 · 2021年2月7日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
【CVPR2022】基于知识蒸馏的高效预训练
专知
4+阅读 · 2022年4月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
VIP会员
相关VIP内容
【ICML2022】MetAug:通过元特征增强的对比学习
专知会员服务
24+阅读 · 2022年5月20日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
12+阅读 · 2022年5月4日
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
31+阅读 · 2022年3月3日
AAAI 2022 | 基于预训练-微调框架的图像差异描述任务
专知会员服务
17+阅读 · 2022年2月26日
【AAAI 2022】用于文本摘要任务的序列级对比学习模型
专知会员服务
24+阅读 · 2022年1月11日
专知会员服务
38+阅读 · 2021年5月16日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
48+阅读 · 2021年2月7日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
25+阅读 · 2020年7月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员