视觉对话旨在回答基于对话历史和图像内容的多轮互动问题。现有方法要么单独考虑答案排序和生成,要么仅通过两个单独的模型微弱地捕捉两个任务之间的关系。在单一模型中共同学习排序和生成答案的通用框架的研究很少。在本文中,我们提出了一个基于对比学习的框架UTC,以统一和促进识别任务和生成任务在视觉对话中使用单一的模型。具体来说,考虑到之前学习范式的内在局限性,我们设计了两种任务间对比损失,即情境对比损失和答案对比损失,使区分性任务和生成性任务相辅相成。这两种互补的对比损失利用对话语境和目标答案作为锚点,从不同的角度提供表征学习信号。我们在VisDial v1.0数据集上评估我们提出的UTC,在那里,我们的方法在鉴别和生成任务上优于最先进的技术,并在Recall@1上超过2个绝对点。

https://www.zhuanzhi.ai/paper/527537bf22a0260715026e0ea474fb5f

成为VIP会员查看完整内容
11

相关内容

Transformer是谷歌发表的论文《Attention Is All You Need》提出一种完全基于Attention的翻译架构

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
20+阅读 · 3月3日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
24+阅读 · 2021年12月20日
专知会员服务
28+阅读 · 2021年5月16日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
37+阅读 · 2021年2月7日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
22+阅读 · 2020年7月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 6月17日
Arxiv
13+阅读 · 2021年3月29日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
VIP会员
相关VIP内容
【CVPR2022】三元组对比学习的视觉-语言预训练
专知会员服务
20+阅读 · 3月3日
【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习
专知会员服务
24+阅读 · 2021年12月20日
专知会员服务
28+阅读 · 2021年5月16日
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
37+阅读 · 2021年2月7日
【ICML2020】统一预训练伪掩码语言模型
专知会员服务
22+阅读 · 2020年7月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
微信扫码咨询专知VIP会员