Novel Object Captioning is a zero-shot Image Captioning task requiring describing objects not seen in the training captions, but for which information is available from external object detectors. The key challenge is to select and describe all salient detected novel objects in the input images. In this paper, we focus on this challenge and propose the ECOL-R model (Encouraging Copying of Object Labels with Reinforced Learning), a copy-augmented transformer model that is encouraged to accurately describe the novel object labels. This is achieved via a specialised reward function in the SCST reinforcement learning framework (Rennie et al., 2017) that encourages novel object mentions while maintaining the caption quality. We further restrict the SCST training to the images where detected objects are mentioned in reference captions to train the ECOL-R model. We additionally improve our copy mechanism via Abstract Labels, which transfer knowledge from known to novel object types, and a Morphological Selector, which determines the appropriate inflected forms of novel object labels. The resulting model sets new state-of-the-art on the nocaps (Agrawal et al., 2019) and held-out COCO (Hendricks et al., 2016) benchmarks.


翻译:新对象说明是一个零光图像说明任务,要求描述培训说明中没有看到但外部物体探测器可以提供信息的物体。 关键挑战是选择和描述输入图像中所有突出检测到的新对象。 在本文中,我们重点关注这一挑战,并提议ECOL-R模型(鼓励以强化学习方式复制对象标签),这是鼓励准确描述新对象标签的复制放大变压器模型。这是通过STSTST强化学习框架中的专门奖赏功能(Rennie等人,2017年)实现的,该奖赏功能鼓励在保持标题质量的同时提及新对象。我们进一步将STST培训限制在引用说明中提及被检测到的物体以培训ECOL-R模型的图像。我们通过抽象实验室进一步改进我们的复制机制,该模型将知识从已知的物体类型转移到新对象类型,以及确定新对象标签的适当隐蔽形式。因此产生的模型在 nocap(Arickwal等人,2019年)上设置了新的状态的CO-Art-Art, 以及2019年的CO-Hend等人基准(Arickal等人,2019年)和2019年的CO-Hout等基准。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
开源书:PyTorch深度学习起步
专知会员服务
50+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
论文浅尝 | Reinforcement Learning for Relation Classification
开放知识图谱
9+阅读 · 2017年12月10日
Arxiv
3+阅读 · 2019年3月29日
Nocaps: novel object captioning at scale
Arxiv
6+阅读 · 2018年12月20日
Image Captioning based on Deep Reinforcement Learning
Arxiv
7+阅读 · 2018年4月24日
Arxiv
7+阅读 · 2018年4月21日
Arxiv
7+阅读 · 2018年4月11日
VIP会员
相关论文
Arxiv
3+阅读 · 2019年3月29日
Nocaps: novel object captioning at scale
Arxiv
6+阅读 · 2018年12月20日
Image Captioning based on Deep Reinforcement Learning
Arxiv
7+阅读 · 2018年4月24日
Arxiv
7+阅读 · 2018年4月21日
Arxiv
7+阅读 · 2018年4月11日
Top
微信扫码咨询专知VIP会员