题目:
Transformation-based Adversarial Video Prediction on Large-Scale Data
简介:
对抗式生成建模技术的最新突破使模型能够生成高质量的视频样本,即使是在大型和复杂的真实视频集上也是如此。在这项工作中,我们专注于视频预测的任务,其中给定了从视频中提取的帧序列,目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的经验研究并提出一种比以前的方法产生更快的收敛性和更高性能的体系结构来改善现有技术。然后,我们分析生成器中的循环单元,并提出一种新颖的循环单元,该单元根据预测的类似运动的特征转换其过去的隐藏状态,并对其进行优化以处理遮挡,场景更改和其他复杂行为。我们表明,该循环装置始终优于以前的设计。最终模型导致了最先进性能的飞跃,在大规模Kinetics-600数据集上获得的测试集Frechet´视频距离从69.2降低到25.7。