Video summarization technologies aim to create a concise and complete synopsis by selecting the most informative parts of the video content. Several approaches have been developed over the last couple of decades and the current state of the art is represented by methods that rely on modern deep neural network architectures. This work focuses on the recent advances in the area and provides a comprehensive survey of the existing deep-learning-based methods for generic video summarization. After presenting the motivation behind the development of technologies for video summarization, we formulate the video summarization task and discuss the main characteristics of a typical deep-learning-based analysis pipeline. Then, we suggest a taxonomy of the existing algorithms and provide a systematic review of the relevant literature that shows the evolution of the deep-learning-based video summarization technologies and leads to suggestions for future developments. We then report on protocols for the objective evaluation of video summarization algorithms and we compare the performance of several deep-learning-based approaches. Based on the outcomes of these comparisons, as well as some documented considerations about the suitability of evaluation protocols, we indicate potential future research directions.


翻译:录像总结技术的目的是通过选择视频内容中信息最丰富的部分来形成简明和完整的概要。在过去几十年中,已经制定了几种方法,目前艺术状态以依赖现代深层神经网络结构的方法为代表。这项工作侧重于该领域的最新进展,对现有的基于深学习的通用录像总结方法进行了全面调查。在展示了开发视频总结技术背后的动机之后,我们制定了视频总结任务,并讨论了典型的深学习分析管道的主要特点。然后,我们建议对现有算法进行分类,并系统地审查显示基于深学习的视频总结技术演变的相关文献,并为今后的发展提出建议。然后,我们报告关于视频总结算法客观评价的规程,并比较若干基于深学习的方法的绩效。我们根据这些比较的结果,以及一些关于评价规程是否适合的有据可查的考虑,指出未来可能的研究方向。

1
下载
关闭预览

相关内容

神经网络(Neural Networks)是世界上三个最古老的神经建模学会的档案期刊:国际神经网络学会(INNS)、欧洲神经网络学会(ENNS)和日本神经网络学会(JNNS)。神经网络提供了一个论坛,以发展和培育一个国际社会的学者和实践者感兴趣的所有方面的神经网络和相关方法的计算智能。神经网络欢迎高质量论文的提交,有助于全面的神经网络研究,从行为和大脑建模,学习算法,通过数学和计算分析,系统的工程和技术应用,大量使用神经网络的概念和技术。这一独特而广泛的范围促进了生物和技术研究之间的思想交流,并有助于促进对生物启发的计算智能感兴趣的跨学科社区的发展。因此,神经网络编委会代表的专家领域包括心理学,神经生物学,计算机科学,工程,数学,物理。该杂志发表文章、信件和评论以及给编辑的信件、社论、时事、软件调查和专利信息。文章发表在五个部分之一:认知科学,神经科学,学习系统,数学和计算分析、工程和应用。 官网地址:http://dblp.uni-trier.de/db/journals/nn/
机器翻译深度学习最新综述
专知会员服务
98+阅读 · 2020年2月20日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
NIPS 2017:贝叶斯深度学习与深度贝叶斯学习(讲义+视频)
机器学习研究会
36+阅读 · 2017年12月10日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Arxiv
12+阅读 · 2020年8月3日
Arxiv
6+阅读 · 2019年7月29日
Arxiv
12+阅读 · 2019年3月14日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Deep Face Recognition: A Survey
Arxiv
18+阅读 · 2019年2月12日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
5+阅读 · 2018年10月11日
Arxiv
5+阅读 · 2017年4月12日
VIP会员
相关论文
Arxiv
12+阅读 · 2020年8月3日
Arxiv
6+阅读 · 2019年7月29日
Arxiv
12+阅读 · 2019年3月14日
A Comprehensive Survey on Graph Neural Networks
Arxiv
13+阅读 · 2019年3月10日
Deep Face Recognition: A Survey
Arxiv
18+阅读 · 2019年2月12日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
5+阅读 · 2018年10月11日
Arxiv
5+阅读 · 2017年4月12日
Top
微信扫码咨询专知VIP会员