36页超全易懂的深度学习在图像去噪的综述

2020 年 2 月 14 日 CVer

点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

本文转载自：极市平台

近日哈尔滨工业大学、广东工业大学、清华大学与台湾国立清华大学等研究人员共同撰写一篇深度学习在图像去噪上的综述并在arxiv发表，该综述系统地总结图像去噪的重要性、图像去噪技术的发展、传统的机器学习和深度学习的图像去噪技术的优缺点以及刨析出图像去噪技术面对的挑战与潜在的研究点。该综述对学术界和工业界都有重要的指导作用，值得学习。

Deep Learning on Image Denoising: An Overview

论文链接：

https://arxiv.org/abs/1912.13171

1 背景与动机

数字图像设备已经被应用在天气预测、灾难救援、安全监控与医学诊病等多个领域。然而数字设备常受到相机抖动、运动的物体、暗光和噪声等影响而导致捕获的照片不干净。因此图像去噪技术的研究具有重要的理论和实际应用价值。

图像去噪技术在20世纪90年代已经成为研究热点。例如：用非局部相似性来优化稀疏方法能提高去噪的性能。字典学习有助于快速移除噪声。先验知识通过平滑噪声图像来恢复潜在干净图像的细节。更多竞争去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。

虽然这些大部分方法在图像去噪上能达到好的性能，但是他们有以下缺点：

(1) 在测试阶段涉及复杂优化方法,

(2) 手动设置参数,

(3) 一个固定的模型来处理单个去噪任务。拥有灵活的结构，强的自学习能力的深度学习技术能用来解决这些不足。

2 本文研究框架

本文由浅到深介绍深度学习在图像去噪应用，首先介绍深度学习在图像处理的基本框架，包括：有监督和无监督机器学习、卷积网络、深度学习在图像去噪的主要结构（如：VGG、ResNet、GoogLeNet和GAN）和深度学习技术常用软件和硬件；其次重点介绍深度学习技术在图像去噪上应用，如图示1所示：

深度学习技术在图像去噪上应用包括外加的白噪声图像去噪的深度学习技术、真实噪声图像去噪的深度学习技术、盲去噪的深度学习技术和混合噪声图像去噪的深度学习技术。

2.1 外加的白噪声图像去噪的深度学习技术：

CNN/NN for AWNI denoising, CNN/NN and common feature extraction methods for AWNI denoising 和The combination of optimization method and CNN/NN for AWNI denoising。

2.1.1 CNN/NN for AWNI denoising：

根据噪声的属性设计不同网络结构是极为关键的，设计网络结构有以下方式：

（1）利用多视角来设计网络；

（2）改变Loss函数；

（3）增加CNN的宽度或者深度；

（4）在CNN中增加任意的插件；

（5）在CNN中使用跳跃连接 (Skip connection)或者级联操作（Cascaded operations）。

补充说明：

第（1）种方式：包括三种类型：一幅噪声图像作为多个子网络的输入；一个样本的不同角度作为网络的输入；一个网络的不同通道作为输入。

第（4）种方式：任意插件包括激活函数、空洞卷积、全连接层和池化层等。

第（5）种方式：包括skip connection和cascaded operation。表 1 提供CNNs/NNs for AWNI denoising的总结。

2.1.2 CNN/NN and common feature extraction methods for AWNI denoising：

weak edge-information, non-linear, high-dimensional and non-salient noisy images 和high computational costs。对于weak edge-information noisy images来说，CNN with transformation domain method来移除噪声是非常有效的。对于non-linear noisy images来说，CNN with kernel method在恢复潜在干净图像是非常有效的。这类方法一般有三步：

第一步用CNN来提取特征，

第二步用核方法把非线性特征转为线性特征，

第三步利用残差技术来重构潜在的干净图像。

对于high dimensional noisy images来说，CNN和降维方法的组合是常用的去噪方法。对于non-salient noisy images来说，信号处理方法能引导CNN来提取显著的特征。对于high computational cost， CNN和图像的属性结合能有效地降低复杂度。上述所涉及方法的更多信息被展示在表2。

2.1.3 The combination of optimization method and CNN/NN for AWNI denoising：

（1）提高去噪速度，

（2）提高去噪的性能。

对于提高去噪效率，把优化方法嵌入到CNN来寻找最优解决是不错工具。此外，把噪声映射和噪声图像块作为CNN的输入也能提高预测噪声的速度。对于提高去噪的性能，把CNN和先验知识结合起来能有效移除噪声。表3展示The combination of optimization method and CNN/NN for AWNI denoising方法的详细信息。

2.2 Deep learning techniques for real noisy image denoising：

单一的end-to-end的CNN和CNN和先验知识的结合。对于第一类，设计网络结构对处理真实噪声图像是流行的。把多尺度、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效处理真实噪声图像。这些方法的详细信息被展示在表4：

对于第二方面把CNN和先验知识组合能很好地解决真实噪声图像。验证知识包括HQS、TV和channel prior。表5显示这些方法的详细信息。

2.3 Deep learning techniques for blind denoising:

利用image device和soft shrinkage和CNN/NN结合能很好地进行blind denoising。更多方法在表6被展示。

2.4 Deep learning techniques for hybrid noisy imagedenoising:

用warped guidance和CNN组合，单一的CNN以及CNN和iterative algorithm组合都能很好地移除混合噪声，更多信息如表7所示：

3 实验结果

3.1 数据库：

3.1.1训练集：

BSD400、Waterloo Exploration Database和polyU-Real-World Noisy Images。

3.1.2测试数据集：

Set12、BSD68、CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam。

3.2 Deep learning techniques for additive white noisy-image denoising结果

3.3 Deep learning techniques for real-noisy image denoising结果

Deeplearning techniques for blind denoising结果

3.4 Deep learning techniques for hybrid-noisy-image denoising结果

4 讨论

深度学习一般在图像去噪上都是提高图像性能、去噪效率和复杂的噪声图像。

4.1 提高去噪性能，有如下解决方法：

(1)增大网络的感受野能捕获更多上下文信息来提高去噪性能。其中，增加网络宽度和深度是增加感受野最常见的方式，然而，他们会导致高的计算代价和更多内存消耗。空洞卷积能有效解决这个问题。

(2)CNN和先验结合能提取出更鲁棒的特征。

(3)组合局部和全局的信息能提高网络的记忆能力。

(4)把信号处理机制融合到CNN能更好遏制噪声。

(5)数据增加能提高图像去噪性能。

(6)迁移学习、图学习和网络搜索能很好处理噪声图像。

4.2提高去噪效率

压缩网络能有效地提高去噪的速度。减少网络宽度和深度、利用小的卷积核、组卷积都能有效地提高去噪速度。

4.3解决复杂的噪声图像

利用分布机制是非常流行的。第一步利用CNN来估计噪声级别作为ground truth或者恢复高分辨率图像。第二步用来恢复潜在干净图像。

4.4挑战

（1）更深的网络需要占用更多内存。

（2）更深的去噪网络不能稳定地训练真实噪声图像、没有类标的噪声图像的模型。

（3）真实噪声图像不是容易获得的。

（4）更深的网络是困难来解决无监督去噪任务。

（5）寻找更精确的去噪衡量指标。

5 结论

在本文我们对不同去噪网络进行全面地研究和系统地总结。首先，我们展示图像去噪的深度学习的基本框架。然后，给出不同去噪任务（如：外加白噪声、盲噪声、真实噪声和混合噪声的图像）的深度学习技术。接着，我们针对不同任务分析去噪网络的动机和理论。最后，我们比较了不同方法的去噪结果、效率和可视化效果。此外，我们也指出深度学习技术在图像去噪的潜在研究点和挑战。

图像去噪综述PDF获得方式

Amusi已经将综述PDF上传至网盘，关注 CVer 公众号，然后在后台回复：去噪综述 ，即可获得下载链接

重磅！CVer-去噪微信交流群已成立

扫码添加CVer助手，可申请加入CVer-去噪微信交流群。同时还可以申请加入大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。

一定要备注：研究方向+地点+学校/公司+昵称（如去噪+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群