250 FPS！OverNet：超快, 超轻量级的多尺度超分辨率网络

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AIWalker

标题&作者团队

paper：https://arxiv.org/abs/2008.02382

【Happy导语】该文提出了一种轻量型任意尺度超分方案，它将任意尺度数据制作思路引入到OSM设计中。作者通过实验证实了所提OSM的有效性，性能比MetaSR更高，速度更快。那么你还有什么理由不去了解一下呢？

Abstract

DCNN在超分领域取得了前所未有的成功，然而基于CNN的超分方法往往存在计算量过大的问题，同时大多模型仅能处理特定超分比例，进而导致泛化性能缺失，提升了内存占用需求(注：这里指的是模型部署过程中的模型大小)。为解决上述局限性，作者提出了OverNet，一种轻量型CNN网络用于单模型任意尺度图像超分。首先，作者引入一种轻量型递归特征提取器，它通过跳过链接、稠密连接进行特征的重复与有效应用；然而，为最大化特征提取器的性能，作者提出了一种高精度重建模块，它可以轻易嵌入到现有超分网络中并改进性能；最后，作者引入多尺度损失函数并获得了跨尺度泛化性能。

作者通过实验验证了所提方法的优异性能，具有更少的参数量、更优的性能。该文的主要贡献包含以下几点：

• 一种轻量型递归特征提取器；
• 一种过尺度模块用于生成过尺度特征并进而用于生成任意尺度输出，它可以有效提升模型的重建效果；
• 一种新颖的多尺度损失函数，它可以同时进行单模型多尺度训练。

Method

image-20200809172045754

上图给出了该文所提OverNet的网络架构示意图，下图为该方案的训练过程。

image-20200809171918646

Feature Extractor

特征提取器是不同超分网络的关键区别，比如EDSR中的ResBlock，RCAN中RCAB，也就是说特征提取器直接决定了模型的最终性能。在该文中，作者基于ResBlock与递归结构构建了DenseGroup。

残差模块是图像超分领域应用最广的一个模块，作者在标准残差模块的基础上进行了改进：(1)引入通道注意力机制SE；(2)引入可学习尺度因子 。改进残差模块描述：

作者将前述所提到的改进残差模块组合形成DenseGroup。DG的输入与第一个RB的输出进行concat并融入到1x1卷积，在DG中递归重复上述。通过上述方式，我们可以收集所有的局部信息并通过1x1卷积融合，最后采用额外的1x1卷积输出特征表达。

为提升模型的容量，作者对DG进行了与上述类似的递归操作，此外作者采用1x1卷积控制通道维度。通过上述跳过链接、稠密连接的组合，模型可以同时集成局部与全局特征。最终的输出特征为前述不同DG输出的组合：

为确保重建阶段没有信息损失，作者还添加了一个全局跳过连接，这个也是超分领域常用的一种结构，但该文与EDSR中的全局跳过连接还是有一些区别，看公式咯。

注： 表示ReLU激活函数。个人感觉这里挺奇怪的，因为这会造成信息损失。一般在超分中为避免信息损失，这个全局跳过连接不会添加ReLU激活。奇哉怪哉。

Overscaling Module

前面的内容还是比较基本的网络结构方面的改进，而接下来要介绍的过尺度模块则是该文的核心，虽然看起来真的是非常简单。

为生成更精度且更少伪影的图像，作者提出了提出了过尺度模块，它基于这样的假设：过尺度可以为同一像素生成更多的值，这些值可以起到集成的作用，进而可以降低噪声。假设N为最大超分尺度，作者首先过尺度特征 ，它的分辨率尺度为 。因此，基于所提取的特征h，作者采用3x3卷积+pixelshuffle得到过尺度特征：

为得到过尺度模块的最终输出，我坐着进一步引入第二个来自 的全局跳过连接。最终的HR输出可以描述如下：

image-20200809180506190

因此，我们可以认为：整个网络的目标就是学习如何微调或者校正霜三次插值上采样的结果以更好的逼近真实HR图像。

Multi-scale Loss

作者提出最小化多尺度损失以优化OverNet，作者选用了有限数量的尺度因子 ，一旦得到了最高分辨率HR图像，那么可以采用bicubic得到其他尺度的输出，最后定义损失损失如下：

不知道各位同学有没有发现：作者在这里设计的OSM模块非常巧妙，它是结合训练数据制作方式进行设计。真的是，简洁到家的代表。

Experiments

直接上实验结果了，下图对比了OverNet与MetaSR的效果对比。可以看到该文方法具有更优的性能；同时所提OSM模块比MetaSR模块性能更优。

image-20200809181151598

作者同时还对比了所提方法与其他超分方法的性能和计算量对比，见下表。

image-20200809182845723

作者同时还进行不同降质模型下的超分效果对比。

image-20200809181455266

image-20200809181556017

最后，作者还对比了不同超分方案的耗时（注：输入分辨率为256x192）对比，结果见下表。只能说：效果好且速度快的超分方案值得你拥有。更多实验结果与分析请查看原文。

image-20200809181635218

全文到此结束，对该文感兴趣的同学建议去查看原文。

推荐阅读

955 不加班的公司名单：955.WLB

北京提供计算机视觉CV算法岗的公司名单

AI算法岗都灰飞烟灭了，我该如何找工作？

下载1

在CVer公众号后台回复：PRML，即可下载758页《模式识别和机器学习》PRML电子书和源码。该书是机器学习领域中的第一本教科书，全面涵盖了该领域重要的知识点。本书适用于机器学习、计算机视觉、自然语言处理、统计学、计算机科学、信号处理等方向。

PRML

下载2

在CVer公众号后台回复：CVPR2020，即可下载CVPR2020 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-超分辨率交流群成立

扫码添加CVer助手，可申请加入CVer-超分辨率 微信交流群，目前已满300人，欢迎交流学习。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如超分辨率+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer点赞和在看！