Visual dialog is a task of answering a sequence of questions grounded in an image using the previous dialog history as context. In this paper, we study how to address two fundamental challenges for this task: (1) reasoning over underlying semantic structures among dialog rounds and (2) identifying several appropriate answers to the given question. To address these challenges, we propose a Sparse Graph Learning (SGL) method to formulate visual dialog as a graph structure learning task. SGL infers inherently sparse dialog structures by incorporating binary and score edges and leveraging a new structural loss function. Next, we introduce a Knowledge Transfer (KT) method that extracts the answer predictions from the teacher model and uses them as pseudo labels. We propose KT to remedy the shortcomings of single ground-truth labels, which severely limit the ability of a model to obtain multiple reasonable answers. As a result, our proposed model significantly improves reasoning capability compared to baseline methods and outperforms the state-of-the-art approaches on the VisDial v1.0 dataset. The source code is available at https://github.com/gicheonkang/SGLKT-VisDial.


翻译:视觉对话是用先前的对话框历史作为上下文回答基于图像的一系列问题的任务。 在本文中, 我们研究如何应对这一任务的两个基本挑战:(1) 对各对话回合之间基本的语义结构进行推理, 以及(2) 确定对特定问题的若干适当答案。 为了应对这些挑战, 我们提议了一种粗略图表学习(SGL) 方法, 将视觉对话作为图形结构学习任务。 SGL 通过将二进制和分边结合, 并利用新的结构损失功能, 推断出内在的稀少的对话框结构。 其次, 我们引入了一种知识传输( KT) 方法, 从教师模型中提取答案预测, 并将它们用作假标签。 我们建议 KT 来纠正单一地义标签的缺陷, 这些缺陷严重限制了模型获得多重合理答案的能力。 结果, 我们提议的模型大大改进了与基线方法相比的推理能力, 并超越了VisDial v1.0数据集的状态- 艺术方法。 源代码可在 https://github. com/gicheankang/SG- VisalDal。

0
下载
关闭预览

相关内容

17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
171+阅读 · 2020年2月13日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
22篇论文!增量学习/终生学习论文资源列表
专知
32+阅读 · 2018年12月27日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Arxiv
0+阅读 · 2021年10月19日
VIP会员
Top
微信扫码咨询专知VIP会员