In traditional Visual Question Generation (VQG), most images have multiple concepts (e.g. objects and categories) for which a question could be generated, but models are trained to mimic an arbitrary choice of concept as given in their training data. This makes training difficult and also poses issues for evaluation -- multiple valid questions exist for most images but only one or a few are captured by the human references. We present Guiding Visual Question Generation - a variant of VQG which conditions the question generator on categorical information based on expectations on the type of question and the objects it should explore. We propose two variants: (i) an explicitly guided model that enables an actor (human or automated) to select which objects and categories to generate a question for; and (ii) an implicitly guided model that learns which objects and categories to condition on, based on discrete latent variables. The proposed models are evaluated on an answer-category augmented VQA dataset and our quantitative results show a substantial improvement over the current state of the art (over 9 BLEU-4 increase). Human evaluation validates that guidance helps the generation of questions that are grammatically coherent and relevant to the given image and objects.


翻译:在传统的视觉问题生成(VQG)中,大多数图像有多种概念(例如对象和类别),可以产生问题,但模型经过培训,可以模仿其培训数据中给出的任意选择概念。这给培训造成困难,并提出了评估问题 -- -- 大多数图像存在多种有效的问题,但人类参考文献只记录其中的一或几张。我们介绍了指导视觉问题生成 -- -- VQG的一个变式,根据对问题类型和应探索对象的预期,使问题生成者以绝对信息为条件。我们提出了两个变式:(一) 明确指导模型,使一个行为者(人或自动)能够选择哪些对象和类别来产生问题;以及(二) 隐含指导模型,根据离散的潜伏变量学习哪些对象和类别的条件。我们用一个答案类别扩大VQA数据集对拟议模型进行了评估,我们的定量结果显示,与艺术的现状相比,(超过9个BLEU-4增加)有很大的改进。我们提出了两种变式。我们提出了两种变式:(一)明确指导,使一个行为者(人或自动)能够选择哪些对象和类别一致和与给特定对象和相关的问题。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
69+阅读 · 2020年10月24日
专知会员服务
109+阅读 · 2020年3月12日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
202+阅读 · 2019年9月30日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
弱监督语义分割最新方法资源列表
专知
9+阅读 · 2019年2月26日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
MoCoGAN 分解运动和内容的视频生成
CreateAMind
18+阅读 · 2017年10月21日
Generating Rationales in Visual Question Answering
Arxiv
5+阅读 · 2020年4月4日
Question Generation by Transformers
Arxiv
5+阅读 · 2019年9月14日
VIP会员
Top
微信扫码咨询专知VIP会员