国科大&中科院提出CANet：用于图像复原的拼接注意力网络

会员服务 ·

国科大&中科院提出CANet：用于图像复原的拼接注意力网络

2020 年 8 月 17 日 CVer

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：AIWalker

Paper: https://arxiv.org/abs/2006.11162

Abstract

该文提出一种用于low-level视觉任务(包含压缩伪影移出、图像降噪)的通用框架，作者提出一种新颖的Concatenated Attention Neural Network(CANet)用于图像复原任务。该文的主要贡献包含以下几点：

通过简洁而有效的concat与特征选择机制，构件了一种新颖的连接机制；
在每个block内同时使用了像素级与通道级注意力机制，有助于提取更有强有力的特征；
通过充分实验验证了所提方法在压缩伪影移出与降噪方面的SOTA性能。

Method

下图给出了该文所提网络的整体流程图，它包含N个注意力模块与跳过连接，每个注意力模块又包含多个带注意力机制的block。

我们假设表示低质图像，表示高质图像，那么第一个卷积层将用于提取特征 :

其中表示卷积操作，它将输入从像素空间变换到特征空间。在此基础上，继续提取特征：

其中表示第一个注意力模块。将用于全局残差学习，继续按照如下方式提取特征：

其中表示第n个注意力模块的输出。在网络的输出端，作者将前面所有输出的特征进行组合：

其中表示集成融合操作，与此同时，作者还将输入添加到了重建模块：

事实上，对图像超分有一定了解的朋友可以看出来；上述网络其实就是RDN结构，区别仅在于每个模块的表现形式。

Attention Residual Block

关于Block这里好像并没有什么值得深入介绍的，直接上图咯。下图给出了图像超分领域用的比较多的几个：SRGAN中的模块(见下图a)、EDSR中的ResBlock(见下图b)、RCAN中的模块(见下图c)以及本文提出的注意力模块(下图d)。下面四个图基本上也代表了图像分类网络结构在图像超分应用的演变过程，以后可能还会有类似SKNet、ResNeSt、Res2Net等形式在low-level中的应用，再看到就没什么好意外的了。

上面提到了核心模块的构成示意图，接下来再看一下PA与CS的结构示意图，见下图。其实非常简单的，略过。

Loss Function

在图像复原领域，常见的损失函数主要包含及其变种、感知损失、对抗损失等等。为更公平的与其他方法(比如RNAN、IDCN)进行对比，作者采用了损失函数：

注：CANet包含5个注意力模块，每个注意力模块包含6个残差模块，卷积核的尺寸为，通道数为64.

Experiments

直接上结果了，训练过程没什么好介绍的，都是非常基本的操作。下表给出了LIVE1、BSDS500、WIN143数据集上的效果对比。

下表给出了Urban100、CBSD68数据集上的效果对比。

最后看一下所提方法的视觉效果图吧。

全文到此结束，对该文感兴趣的同学建议去看一下原文。

推荐阅读

955 不加班的公司名单：955.WLB

北京提供计算机视觉CV算法岗的公司名单

AI算法岗都灰飞烟灭了，我该如何找工作？

下载1

在CVer公众号后台回复：PRML，即可下载758页《模式识别和机器学习》PRML电子书和源码。该书是机器学习领域中的第一本教科书，全面涵盖了该领域重要的知识点。本书适用于机器学习、计算机视觉、自然语言处理、统计学、计算机科学、信号处理等方向。

PRML

下载2

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2000+人，旨在交流顶会（CVPR/ICCV/ECCV/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI等）、SCI、EI等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群