ECCV 2020 | CDC：真实世界图像超分辨率网络，分而治之思想的探索应用

会员服务 ·

ECCV 2020 | CDC：真实世界图像超分辨率网络，分而治之思想的探索应用

2020 年 8 月 12 日 CVer

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AIWalker

paper: https://arxiv.org/abs/2008.01928

Code: https://urlify.cn/RZjuQz

Abstract

该文提出了一个大尺度多样性的真实世界图像超分数据集DRealSR，同时提出了一种“分而治之”(Component Divide-and-Conquer, CDC)的超分网络，它探索了low-level图像成分引导的图像超分。DRealSR克服了传统合成图像降质的局限性，构建了一个新的多样性的图像超分基准数据集。一般而言，不同区域的图像超分目的存在一定差异性：平坦区域的平滑性，边缘区域的锐利度，纹理区域的增强性。传统的L1/L2损失超分模型性容易受平坦区域和边缘区域主导，进而导致难以很好的复原复杂纹理。

作者提出了一种“分而治之”的模型与梯度加权损失用于图像超分，该CDC将图像拆分为三个成分并采用三个CABs学习注意力mask以及中间超分结果，同时采用“分而治之”的学习方式。所提GW损失同时提供了一种灵活的策略平衡图像不同成分的训练难度。最后作者通过充分的实验验证了所提方案的优异性能。

该文的主要贡献包含以下几点：

一个大尺度真实世界超分数据集；
一种“分而治之”的图像超分模型；
一种梯度加权损失函数。

Dataset

为什么要重新构建一个真实世界超分数据集呢？这是因为现有图像超分模型训练往往采用合成数据(bicubic降质)，而真实世界数据往往复杂的多。它不仅存在降质类型的多样，还存在跨设备的多样性。

鉴于此，作者采用5个数码相机(佳能、索尼、尼康、松下，Olympus)采集自然场景数据(包含室内与室外场景)，采用SIFT进行对齐，同时还对LR与HR图像的亮度进行了校正。

注：该数据集已经开源，在官方代码主页上有，链接为：https://pan.baidu.com/share/init?surl=ey9JF4S5wLnE5Iw5z67R8A，提取码：osiy。有需要的同学可以与笔者联系哦，公众号后台留言即可。

CDCSR

前面已经提到：不同区域的超分目标是不同的，传统的“一视同仁”的L1/L2损失往往会受平坦区域和边缘区域主导，而忽视了纹理细节区域。下图给出了不同区域的重建难度示意图，由于图像中包含大量的平坦区域与边缘区域，这就导致了图像过过度拟合这些区域，从而导致生成的图像比较模糊。

考虑到不同区域的重建难度问题，作者构建了一种HGSR网络，见下图。它采用分而治之的思想对图像的不同区域进行不同的监督处理，同时为不同区域赋予不同的梯度加权损失。

从上图可以看到：它将网络的不同阶段赋予不同的语义信息，比如底层的平坦，中层的边缘，高层的纹理+角点等等。在训练过程中对不同区域添加不同的监督信息。整体的损失函数定义如下：

Hourglass SRNet

写到这里突然不想继续往下写了，因为网络架构方面的东西真的好简单。就简单的介绍一下该文的Hourglass模块吧，见下图。可以看到：它其实就是在UNet的基础上进行了特殊处理。

Experiments

直接上结果吧，不再介绍了，感兴趣的同学建议看原文。下表给出了所提方法、所提数据集交互验证时的性能对比。注：这里进行的两种真实世界超分数据集。

下图给出了超分的视觉效果对比。

最后，作者给出了所提超分网络与其他超分网络在合成数据与DRealSR上的性能对比。

全文到此结束吧，感兴趣的同学请去查看一下原文吧，原文还是挺不错的，哈哈。

推荐阅读

955 不加班的公司名单：955.WLB

北京提供计算机视觉CV算法岗的公司名单

AI算法岗都灰飞烟灭了，我该如何找工作？

下载1

在CVer公众号后台回复：PRML，即可下载758页《模式识别和机器学习》PRML电子书和源码。该书是机器学习领域中的第一本教科书，全面涵盖了该领域重要的知识点。本书适用于机器学习、计算机视觉、自然语言处理、统计学、计算机科学、信号处理等方向。

PRML

下载2

在CVer公众号后台回复：CVPR2020，即可下载CVPR2020 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-超分辨率交流群成立

扫码添加CVer助手，可申请加入CVer-超分辨率 微信交流群，目前已满300人，欢迎交流学习。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如超分辨率+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群