CVPR 2022 | 一举打败16个同类模型！视频超分辨率冠军算法开源了！

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

丰色 发自 凹非寺
转载自：量子位（QbitAI）

如何让模糊的老片变高清？

AI的答案是超分辨率算法：

现在，在视频超分领域，有一个强大的算法拿下了超分比赛NTIRE 2021三冠一亚的优异成绩，登上了CVPR 2022。

它的名字叫做BasicVSR++，是对视频超分SOTA模型BasicVSR的进一步改进。

BasicVSR也曾拿下NTIRE冠军，入选CVPR 2021。

现在，这个BasicVSR+++在基本相同的参数量下，不仅性能大幅超过前辈，PSNR（峰值信噪比，图像质量评估指标）提高了0.82dB，还能应用到更多的视频复原任务中（例如压缩视频增强）。

加强版BasicVSR

BasicVSR采用双向传播(propagation)+特征对齐方式，能够提取整个输入视频中的有效信息进行超分。

但是，它这一基本设计也限制了信息聚合的功效，比如难以恢复精细的细节，尤其是在处理复杂的遮挡区域时。

因此，加强版的BasicVSR++在传播和对齐方面进行了重新改造，采用了二阶网格传播(second-order grid propagation) 和光流引导可变形对齐 (flow-guided deformable alignment)的设计来改善网络中的信息聚合能力，提升遮挡区域的鲁棒性和有效性。

其中，二阶网格可以让信息从不同的时空位置进行前向后后向传播，让特征的传播更有效。

光流引导可变形对齐则可以让帧进行更具鲁棒性的特征对齐。

采用这一对齐方式主要是单纯的形变对齐训练效果不稳定，尽管可变形卷积 (DCN) 网络中具备多样性的偏移量（offset）使形变对齐的性能优于光流对齐。

BasicVSR+++具体架构如下：

给定输入视频，首先采用残差模块对每一帧提取特征；然后这些特征在二阶网络传播中进行信息传播，其中对齐部分采用光流引导形变对齐；完成信息传播后，汇聚特征生成输出图像。

在16个同类算法中性能全部最佳

作者对比了16种不同视频超分算法的性能、参数量以及耗时，结果是BasicVSR++在所有数据集下的两种退化方式中均取得最佳性能（红色代表最佳分数，蓝色代表次佳分数）。

特别地，相比大容量滑动窗口算法EDSR，BasicVSR++获得了1.3dB的性能提升，同时参数量少65%；

相比之前的最新技术IconVSR，BasicVSR++在参数量更少的同时也带来了1dB的性能提升。

更轻量版的BasicVSR++ (S)，相比前辈BasicVSR，也有0.82dB的提升，收益显著。

而在具体效果中，不管是在REDS4、Vimeo-90K-T还是Vid4数据集上，BasicVSR++都能对极细节的图像进行复原，且效果最好。

目前，BasicVSR++的代码已经开源，感兴趣的同学可以去试试。

作者介绍

一作陈焯杰 (Kelvin C.K. Chan) 来自南洋理工大学计算机科学与工程学院，博士三年级在读，本硕毕业于香港中文大学。

目前的研究方向为图像/视频恢复，一共发表过5篇顶会论文。

通讯作者为他的导师吕健勤（Chen Change Loy），南洋理工大学计算机学院副教授，商汤-南洋理工大学联合实验室S-Lab副主任。

他俩也是BasicVSR的原班作者。

BasicVSR++的剩余两位作者分别为：该校二年级博士生周尚辰和该校研究员Xu Xiangyu。

论文地址：
https://arxiv.org/abs/2104.13371

代码：

https://github.com/ckkelvinchan/RealBasicVSR

ICCV和CVPR 2021论文和代码下载

后台回复：CVPR2021，即可下载CVPR 2021论文和代码开源的论文合集
后台回复：ICCV2021，即可下载ICCV 2021论文和代码开源的论文合集
后台回复：Transformer综述，即可下载最新的3篇Transformer综述PDF

CVer-Transformer交流群成立

扫码添加CVer助手，可申请加入CVer-Transformer 微信交流群，方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如Transformer+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加小助手微信，进交流群

CVer学术交流群（知识星球）来了！想要了解最新最快最好的CV/DL/ML论文速递、优质开源项目、学习教程和实战训练等资料，欢迎扫描下方二维码，加入CVer学术交流群，已汇集数千人！

▲扫码进群
▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看