An increasing amount of studies have investigated the decision-making process of VQA models. Many of these studies focus on the reason behind the correct answer chosen by a model. Yet, the reason why the distracting answer chose by a model has rarely been studied. To this end, we introduce a novel task called \textit{textual Distractors Generation for VQA} (DG-VQA) that explaining the decision boundaries of existing VQA models. The goal of DG-VQA is to generate the most confusing set of textual distractors in multi-choice VQA tasks which expose the vulnerability of existing models (i.e. to generate distractors that lure existing models to fail). We show that DG-VQA can be formulated as a Markov Decision Process, and present a reinforcement learning solution to come up with distractors in an unsupervised manner. The solution addresses the lack of large annotated corpus issues in previous distractor generation methods. Our proposed model receives reward signals from fully-trained multi-choice VQA models and updates its parameters via policy gradient. The empirical results show that the generated textual distractors can successfully attack several popular VQA models with an average $20\%$ accuracy drop from $64\%$. Furthermore, we conduct adversarial training to improve the robustness of VQA models by incorporating the generated distractors. Empirical results validate the effectiveness of adversarial training by showing a performance improvement of $27\%$ for the multi-choice VQA task.


翻译:越来越多的研究调查了VQA模式的决策过程。许多这些研究侧重于一个模型所选正确答案背后的原因。然而,一个模型所选择的转移注意力的答案很少被研究。为此,我们引入了一个叫作\textit{texttractitors Dongering for VQA}(DG-VQA)的新颖任务,解释现有VQA模式的决策界限。DG-VQA的目标是在多选择VQA任务中产生最令人困惑的文本干扰者,这暴露了现有模型的脆弱性(即产生分散注意力者,诱导现有模型失败)。我们显示DG-VQA可以作为Markov的决策过程,提出一种强化的学习解决方案,以不受监督的方式解决现有VQA模式的决策范围。DG-VQA的目标是从经过充分训练的多选择性VQA模型中产生最令人困惑的奖赏信号,并通过政策梯度更新其参数。我们的经验性结果显示,DG-VQQA的快速性变校程模型可以显示,我们通过高性变校程的变校程的变校程模型可以成功地改进。

1
下载
关闭预览

相关内容

视觉问答(Visual Question Answering,VQA),是一种涉及计算机视觉和自然语言处理的学习任务。这一任务的定义如下: A VQA system takes as input an image and a free-form, open-ended, natural-language question about the image and produces a natural-language answer as the output[1]。 翻译为中文:一个VQA系统以一张图片和一个关于这张图片形式自由、开放式的自然语言问题作为输入,以生成一条自然语言答案作为输出。简单来说,VQA就是给定的图片进行问答。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
Google-EfficientNet v2来了!更快,更小,更强!
专知会员服务
18+阅读 · 2021年4月4日
最新《自监督表示学习》报告,70页ppt
专知会员服务
85+阅读 · 2020年12月22日
【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
38+阅读 · 2020年11月20日
【文本生成现代方法】Modern Methods for Text Generation
专知会员服务
43+阅读 · 2020年9月11日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Arxiv
6+阅读 · 2020年10月8日
Arxiv
5+阅读 · 2018年3月16日
Arxiv
9+阅读 · 2016年10月27日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员