【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习

2021 年 12 月 20 日 专知


回答关于图像的复杂问题是机器智能的一个雄心勃勃的目标,它需要对图像、文本和常识的联合理解,以及强大的推理能力。最近,多模态变换器在视觉常识推理(Visual Commonsense Reasoning, VCR)任务上取得了很大的进展,通过跨通道注意力层共同理解视觉对象和文本标记。然而,这些方法并没有利用场景的丰富结构和对象之间的交互作用,而这些在回答复杂的常识问题时是必不可少的。我们提出了一个场景图增强图像-文本学习(SGEITL)框架,将视觉场景图纳入常识推理。为了利用场景图结构,在模型结构层次上,我们提出了一种多跳图转换器来正则化各跳间的注意力交互。在预训练方面,提出了一种场景感知的预训练方法,利用视觉场景图中提取的结构知识。此外,我们还介绍了一种使用文本注释在弱监督方式下训练和生成领域相关视觉场景图的方法。在VCR和其他任务上的大量实验表明,与最先进的方法相比,性能有显著提高,并证明了所提出的每个组件的有效性。


https://www.zhuanzhi.ai/paper/b1df219aafbecbaaf09c3a0b10f58df6





专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“GVCR” 就可以获取【AAAI2022】用于视觉常识推理的场景图增强图像-文本学习》专知下载链接

商务、投稿、技术等合作:请加微信助手:Quan_ABT, 或发邮件到bd@zhuanzhi.ai

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取7万+AI主题干货知识资料!

点击“ 阅读原文 ”,了解使用 专知
登录查看更多
3

相关内容

【CVPR2022】高分辨率和多样化的视频-文本预训练模型
专知会员服务
9+阅读 · 2022年3月6日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
专知会员服务
23+阅读 · 2022年2月21日
专知会员服务
18+阅读 · 2021年9月13日
【AAAI2021】利用先验知识对场景图进行分类
专知会员服务
60+阅读 · 2020年12月3日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
【CVPR2022】视频对比学习的概率表示
专知
1+阅读 · 2022年4月12日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
新任务&数据集:视觉常识推理(VCR)
专知
50+阅读 · 2018年12月1日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
10+阅读 · 2020年11月26日
VIP会员
相关VIP内容
【CVPR2022】高分辨率和多样化的视频-文本预训练模型
专知会员服务
9+阅读 · 2022年3月6日
【AAAI2022】(2.5+1)D时空场景图用于视频问答
专知会员服务
23+阅读 · 2022年2月21日
专知会员服务
18+阅读 · 2021年9月13日
【AAAI2021】利用先验知识对场景图进行分类
专知会员服务
60+阅读 · 2020年12月3日
【NeurIPS2020-FB】学习具有可解码信息瓶颈的最优表示
专知会员服务
22+阅读 · 2020年10月13日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
4+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员