【ECCV2020诺亚】利用循环卷积网络与分频段处理的视频超分辨算法

Video Super-Resolution with Recurrent Structure-Detail Network

本文提出了一种利用循环卷积网络与分频段处理的视频超分辨算法。现存的视频超分辨方法大多是借助时间滑动窗口中的相邻帧的时空信息来超分参考帧。然而，这种超分方式并不是视频超分的最佳手段。一方面，用时间滑动窗口在处理长视频序列时，过去帧与未来帧的重复利用会造成计算冗余和巨大的计算开销，进而限制算法在真实场景的应用；另一方面，这种方式没有考虑历史的超分结果对后续超分的帮助。本方法创新性地提出，细节与结构分开处理的循环卷积算法。一张图像先会解耦合为细节与结构两种频段的信息，随后两种信息被馈送到细节结构模块中，进行细节与结构交互式的特征提取与信息融合。为了建模历史信息与当前帧的相关性，我们提出了隐层特征筛选模块。综合考虑性能和速度，我们的算法性能大大优于TGA，RLSP，FRVSR，EDVR等当前最好的视频超分辨方法。

https://www.zhuanzhi.ai/paper/f622b6800894882833499cd56f42656a