【CVPR2021】CVPR2021 | MotionRNN：针对复杂时空运动的通用视频预测模型

本文介绍CVPR2021中稿论文：MotionRNN: A Flexible Model for Video Prediction with Spacetime-Varying Motions

论文链接：

https://www.zhuanzhi.ai/paper/e19f829d8a30b7f3baa59eb38e42665c

引言

视频预测方法被广泛应用于降水预报（Precipitation Nowcasting）、交通流预测（Traffic Flow Prediction）、机器人视觉规划（Visual Planning）等众多任务中。

然而现实世界的运动极其复杂，且往往处于不断变化中，比如人体运动中的变向、变速、肢体运动，雷达回波中的云团产生、消散、位移、形变等等。这种复杂的时空变化使得准确预测未来的运动极具挑战性。

图1，人体运动可以分解为向右趋势与四肢的瞬时摆动；雷达回波可以分解为向上趋势与逆时针旋转。

针对复杂时空运动，我们关注到现实世界的运动在时空上可以分解为整体运动趋势（motion trend）与瞬时变化（transient variation），并基于此提出了名为MotionRNN的模型，对运动趋势与瞬时变化进行统一建模。

同时，作为一个通用的视频预测模型，MotionRNN具有很好的灵活性，可以结合众多的基于RNN的时空预测模型，稳定提升它们应对复杂时空运动的能力。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MRNN” 就可以获取《【CVPR2021】CVPR2021 | MotionRNN：针对复杂时空运动的通用视频预测模型》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源