【ICML2022】用于视频恢复的无监督流对齐序列到序列学习

如何正确建模视频序列中的帧间关系是视频恢复(VR)中一个重要但尚未解决的问题。在本研究中，我们提出一种无监督流对齐序列对序列模型(S2SVR)来解决这个问题。一方面，在虚拟现实中首次探索了在自然语言处理领域已被证明具有序列建模能力的序列对序列模型。优化的序列化建模显示了捕获帧之间的远程依赖关系的潜力。另一方面，我们提出序列到序列模型与无监督光流估计器，以最大限度地发挥其潜力。流量估计器使用我们提出的无监督蒸馏损失进行训练，这可以缓解以前基于流量的方法的数据差异和不准确的退化光流量问题。通过可靠的光流，我们可以在多个帧之间建立精确的对应关系，缩小一维语言帧和二维失调帧之间的域差异，提高序列对序列模型的潜力。S2SVR在多个VR任务中表现优异，包括视频去模糊、视频超分辨率、视频压缩质量增强等。https://github。com/linjing7/VR-Baseline

https://www.zhuanzhi.ai/paper/cd5d99f20f1647204b5e7a5158c9ee01

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SLVR” 就可以获取《【ICML2022】用于视频恢复的无监督流对齐序列到序列学习》专知下载链接

专知，专业可信的人工智能知识分发 ，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取70000+AI(AI与军事、医药、公安等)主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取70000+AI主题知识资料