ECCV 2020｜清华等提出RSDN：视频超分辨率的循环结构细节网络

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AIWalker

标题&作者团队

paper: https://arxiv.org/abs/2008.00455

code: https://github.com/junpan19/RSDN

【导语】该文是清华大学&华为诺亚方舟联合提出的一种递归视频超分方案。不同于主流的视频超分方案(基于光流对齐的视频超分、基于形变卷积对齐的视频超分)，该文从递归思路出发，提出了一种SD模块用于图像的不同成分复原。所提方法在Vid4数据集取得了超越EDVR-L的性能，同时具有更少的参数量和计算量。推荐各位同学仔细研究一下。

Abstract

大多视频超分方案采用时序近邻帧辅助参考帧进行超分，这种方式会导致算法过于耗时，在处理效率方面不如递归方案。该文提出一种新颖的递归视频超分方案，它可以高效率且有效的利用前一帧信息对参考帧进行超分。它将输入划分为结构与纹理成分送入到递归单元(它由多个双流结构-纹理模块构成)，此外隐状态自适应模块使得当前帧可以从隐状态中选择有用信息辅助超分，提升对于场景切换和误差累计的鲁棒性。作者通过充分实验验证了所提方案的有效性，在多个公开基准数据集均取得了SOTA性能。

Method

视频超分的目的在于：给定低分辨率视频 ，通过VSR生成高分辨率视频 。为更高效的处理视频序列，作者设计了一种递归网络RSDN。不同于FRVSR将整个图像融入到递归网络中，作者将每一帧进行分解为两部分(结构和细节)并送入到递归网络中。考虑到这两种信息的交互关系，作者设计了一种SD模块，它不仅有助于锐化图像结构，同时有助于复原细节。 下图给出了RSDN的整体流程示意图，接下来我们将针对RSDN进行介绍。

Recurrent Structure Detail Network

Recurrent unit 每一帧图像将被分解为结构成分与细节成分，结构成分包含了低频信息与帧间运动信息，而细节成分则包含了高频信息与时序的轻微变化。这两个成分在复原过程中的难度不一，且从其他帧得到的收益各不相同，因此有必要分开处理。

在该文中，作者采用简单的bicubic下采样与上采样操作从 提取结构信息 ，而细节成分可以通过 得到。当然，也可以采用其他低通滤波器和高通滤波器。为简单起见，作者在递归单元中对这两个成分采用对称形式处理，见如下图。

我们仅以t时刻D分支作为示例进行说明，前一帧与当前帧的细节成分 、前一帧估计的细节成分 以及隐状态 通过conat方式进行处理，并通过 卷积与多个SD模块进一步融合。也就是说，该递归单元可以集成两个连续帧、前一帧的输出以及历史帧信息。 表示经过多个SD处理后的特征，它将通过3x3卷积与上采样层输出高分辨率细节 。注：S分支采用类似的方式进行处理，这里略过不计。 将用于生成最终的高分辨率结果 以及隐状态 。

Structure-Detail Block ResBlock与DenseBlock是CV中常用的模块，它们有助于缓解梯度消失与信息传递。考虑到Structure与Detail的信息特征，作者提出了一种新的模块，见下图c。这个好像没什么可介绍的，滤过不计。

Hidden State Adaptation

在递归神经网络中，t时刻隐状态会进行前面帧的综述信息。当将采用RNN进行视频超分时，隐状态有助于描述场景随时间的运动关系，即包含结构信息也包含细节信息。RLSP采用直接concat方式进行处理，作者认为这种整体处理的方式并非最优，可能会影响模型性能。

下图给出了隐状态中不同通道所描述的前置信息，它们在不同帧、不同位置具有不同的贡献，尤其当存在遮挡、大形变时。

在该文中，作者提出了HSA(Hidden State Adaptation)模块以自适应将隐状态信息作用于当前帧。其实就是动态滤波器的应用，见下图。个人感觉这块没什么新颖的，对这块感兴趣的可以去看一下VSRDUF一文，也可以与笔者沟通讨论。

Loss Functions

由于所提RSDN包含两个分支，那么两个分支的监督信息的均衡就变得非常重要。不平衡的监督会导致结果过于锐化或者模糊。为缓解该问题，作者提出了如下损失，它包含三种损失函数：

Experiments

训练数据：Vimeo90K，降质方式为blur-down，测试数据Vid4、UDM10。直接上结果咯。

作者首先给出了网络结构的消融实验结果，见下表。

最后作者给出所提方法与其他视频超分方法在Vid4与UDM10上的性能对比以及视觉效果。可以看到所提方法取得了超越EDVR的性能，甚赞！不过在Vimeo数据集上还是EDVR更优。

全文到此结束，对该文感兴趣的同学建议去看原文。

推荐阅读

955 不加班的公司名单：955.WLB

北京提供计算机视觉CV算法岗的公司名单

AI算法岗都灰飞烟灭了，我该如何找工作？

下载1

在CVer公众号后台回复：PRML，即可下载758页《模式识别和机器学习》PRML电子书和源码。该书是机器学习领域中的第一本教科书，全面涵盖了该领域重要的知识点。本书适用于机器学习、计算机视觉、自然语言处理、统计学、计算机科学、信号处理等方向。

PRML

下载2

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-超分辨率交流群成立

扫码添加CVer助手，可申请加入CVer-超分辨率 微信交流群，目前已满300+人，旨在交流顶会（CVPR/ICCV/ECCV/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI等）、SCI、EI等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如超分辨率+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer点赞和在看！