CVPR2020|华南理工,MSRA, 百度联合放大！让超分性能大幅度提升的对偶回归网络

2020 年 3 月 29 日 极市平台

加入极市专业CV交流群，与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号，回复 加群，立刻申请入群~

来源：ImageAI@微信公众号

每年三大视觉顶会CVPR、ICCV、ECCV都备受瞩目，今年的CVPR结果出来已经有一阵子~~

其中超分辨率领域有一篇论文备受瞩目，我们先看看结果👇👇👇：

4倍超分结果：

8倍超分结果：

效果简直是amazing啊~

接下来跟着小编来深扒一下论文是如何实现如此amazing结果的~

以往论文中的诟病

目前大部分基于神经网络的单图像超分辨率(SISR)的传统做法是利用低分辨率图像(LR)和高分辨率图像(HR)对，学习一个非线性映射函数以实现LR到HR的映射。这种做法存在两个主要的问题：

问题一： SISR属于ill-posed问题，这就意味LR到HR的映射存在多种可行解，导致训练到后期时无法确定一个可行解。

问题二： 真实的LR和HR的图像对(pair)很难获取，目前大部分的data pair都是人工模拟的，例如常见的DIV2K和Flick2K数据集，这就意味模型学习到的退化核很难泛化到真实场景下，导致模型的泛化能力低下。

本文的解决方案

那么本文针对这两个问题，通过对偶学习(Dual Learning)，建立了个由LR->HR->LR闭环对偶回归(Dual Regression)模型。

针对问题一：

LR->HR是个one to many的过程，那么同样的由HR->LR同样是个one to many的过程。通过本文中提出的闭环学习过程，从理论上理解可以通过两个过程之间的相互约束，形成近似one to one闭环。

针对问题二：

由于真实的data pair难以获取，在本文的Dual Regression Network(DRN)中，采用半监督的方式对网络进行训练。采用data pair的人工模拟对LR->HR训练的同时，利用真实的LR对LR->HR->LR的进行训练。这样可以通过真实的LR data unpair尽可能约束网络的退化核的学习过程，使得其具有一定的泛化性。

本文的超分辨率闭环对偶回归任务

接下来我们对其中的一些概念进行深度解析。

什么是对偶学习？

Dual Learning是MSRA在NLP机器翻译中提出的一种新的机器学习范式，其最关键一点在于，给定一个原始任务模型，其对偶任务的模型可以给其提供反馈；同样的，给定一个对偶任务的模型，其原始任务的模型也可以给该对偶任务的模型提供反馈；从而这两个互为对偶的任务可以相互提供反馈，相互学习、相互提高。

DRN的闭环模型如何定义？

DRN闭环模型整体是个U-Net like的结构，如下：

整个闭环模型可以分为两部分，图中黑色线部分为P网络，红色线部分为D网络。P网络为LR->HR的映射过程，而D网络则为P网络的对偶过程HR->LR。

DRN的损失函数如何定义？

DRN网络，主要由P网络和D网络构成，两者间是个互逆的过程，因此对于Data Pair数据，其损失函数为：

其中，每个loss均可以用L1或L2 loss，本文中使用的是L1 loss。而针对加入半监督的Data unpair数据，其损失函数则为加入了个指示函数：

Data Unpair数据如何训练？

实验结果分析：

一.有监督的超分辨率的实验设置和结果：

有监督部分和目前大部分模型一样，使用的是常见的Data pair数据集DIV2K和Flick2K作为训练集，测试集为常见的SET5, SET14, BSDS100,URBAN100 和MANGA109。模型设置上，作者设置了两个不同参数量的模型，DRN-S（小模型）和DRN-L（大模型）。从结果上看，无论是性能还是参数DRN-S和DRN-L都展示出了STOA的结果！

从结果上看，无论是性能还是参数DRN-S和DRN-L都展示出了STOA的结果！

二.半监督的超分辨率的实验设置和结果：

半监督部分，data pair部分使用了DIV2K的训练集，而对于data unpiar部分，则划分成两个实验：

1. 为了定性的计算PSNR和SSIM：

data unpair则是在ImageNet中随机选取了3K张图像，并对图片使用Nearest和BD两种不同的方式采样出LR图像，将LR用于半监督训练。其结果同样非常不错。

2. 为了实现真实图像下感性的效果：

data unpair则是来自于未知退化核的YouTube视频的3K张原始帧。由于没有GT，只能通过感性的方式进行不同方法的下恢复效果的观测。

三.消融实验设置和结果：

1. 对偶学习的反馈效果到底有多好？

作者同样进行的实验对比：

从结果上来看，使用Dual Learning的方式在测试集上提升非常显著，充分显示出了对偶学习的优势！

2. 半监督学习中，data pair数据和unpair数据比例如何划分？

结论：unpair data占整体数据（unpair + pair）的30%能网络性能达到最优！

结语

整体而言，这是一项非常不错的工作！就我个人而言，可以说是这几年内看到的SISR文章中最让我眼前一亮的工作。这种学习范式对其他的low level vision tasks应该都是同样适用的。而其中最大的亮点，在于利用对偶任务的特点，将真实LR的半监督引入，为目前SISR普遍存在的泛化性问题提供了一种新的解决思路。即当前更多的工作是如何去盲估计出一个未知的退化核，这种盲估计通常是非常难的。而这种半监督的学习，则需要将真实的LR接纳到模型中来进行学习，因此这种半监督的方式，在真实场景下可能更多需要Online learning。

论文链接：https://arxiv.org/pdf/2003.07018.pdf

代码链接：https://github.com/guoyongcs/DRN

编辑助理：happyGirl

为了方便大家阅读，极市平台公众号后台回复 DRN ，即可获得本论文下载链接。

-END -

推荐阅读：

极市平台视觉算法季度赛，提供真实应用场景数据和免费算力，特殊时期，一起在家打比赛吧！

添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割等极市技术交流群，更有每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、行业技术交流，一起来让思想之光照的更远吧~