Typical techniques for video captioning follow the encoder-decoder framework, which can only focus on one source video being processed. A potential disadvantage of such design is that it cannot capture the multiple visual context information of a word appearing in more than one relevant videos in training data. To tackle this limitation, we propose the Memory-Attended Recurrent Network (MARN) for video captioning, in which a memory structure is designed to explore the full-spectrum correspondence between a word and its various similar visual contexts across videos in training data. Thus, our model is able to achieve a more comprehensive understanding for each word and yield higher captioning quality. Furthermore, the built memory structure enables our method to model the compatibility between adjacent words explicitly instead of asking the model to learn implicitly, as most existing models do. Extensive validation on two real-word datasets demonstrates that our MARN consistently outperforms state-of-the-art methods.


翻译:视频字幕的典型技术遵循编码器解码器框架,该框架只能侧重于正在处理的一个源视频。这种设计的潜在缺点是它无法捕捉到在培训数据中不止一个相关视频中出现的一个单词的多重视觉背景信息。为了应对这一限制,我们提议为视频字幕建立内存经常网(MARN),在其中设计一个记忆结构,以探索一个单词与其在培训数据中不同视频的类似视觉背景之间的完整频谱对应。因此,我们的模型能够对每个单词实现更全面的理解,并产生更高的字幕质量。此外,构建的记忆结构使我们能够以各种方法模拟相邻词的兼容性,而不是像大多数现有模型那样,要求模型隐含地学习。对两个真实词数据集的广泛验证表明,我们的MARN始终超越了最先进的方法。

7
下载
关闭预览

相关内容

视频描述生成(Video Caption),就是从视频中自动生成一段描述性文字

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
63+阅读 · 2020年2月29日
【反馈循环自编码器】FEEDBACK RECURRENT AUTOENCODER
专知会员服务
21+阅读 · 2020年1月28日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
24+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
14+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
12+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
34+阅读 · 2019年1月3日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
24+阅读 · 2017年9月8日
Arxiv
5+阅读 · 2019年4月4日
Recurrent Fusion Network for Image Captioning
Arxiv
3+阅读 · 2018年7月31日
Arxiv
5+阅读 · 2018年3月30日
VIP会员
Top
微信扫码咨询专知VIP会员