CVPR 2021｜无需干净图像的自监督图像降噪

传统的图像降噪方法中，比较简单的方法降噪效果往往很有限，而降噪效果较好的方法、如BM3D等，又因其巨大的计算量而难以实现实时的运行。随着深度学习的出现和发展，基于神经网络的图像降噪方法逐渐得到了广泛的应用。现有的全监督图像降噪网络（例如DnCNN、FFDNet、CBDNet、SGNet等）需要在大量Noisy-Clean配对图像构成的数据集上训练，而构造Noisy-Clean图像配对是十分困难的：一方面，很多研究者在干净图像上添加模拟的噪声生成合成的Noisy-Clean配对，由于模拟的噪声与真实图像的噪声存在较大的差异，在合成数据集上训练的方法，在真实数据上的泛化性能往往十分糟糕；另一方面，采集真实的Noisy-Clean图像对往往需要特殊的设备、或者局限在静态的场景。动态场景、或者医学图像场景，构造真实的Noisy-Clean配对至今仍是一个十分具有挑战性的问题。

为了解决真实场景的图像降噪训练问题，研究者们提出了一系列具有开创性的工作。Noise2Noise提出通过对同一个场景拍摄多张独立的含噪图像即可训练降噪网络，缓解了对干净图像的采集需求。然而，同一个场景多张独立含噪图像这个要求也是十分苛刻的，对于动态场景、医学图像等场景仍然不具有可行性。之后，Noise2Void、DBSN等方法提出通过限制卷积的感受野，将网络改造成感受野受限的网络，从而实现无需干净图像、无需多张含噪图像的自监督图像降噪。尽管这一类方法具有一定的可行性，但是其复杂的网络改造流程、缓慢的训练过程和相对较差的降噪效果仍限制了它们的应用价值。也有一些方法通过假定噪声的分布，用后处理的方式增强降噪效果，但是真实图像的噪声往往难以估计，因而其在真实图像上的利用价值有限。于此同时，还有一类方法，如DIP、Self2Self等，通过学习图像、噪声的先验，对单张含噪图像进行训练，实现了很好的降噪效果。但是这一类方法一张图片需要训练一个模型，不具有泛化能力。综上可见，现有的无需干净图像的图像降噪方法往往都有额外的约束，而这些约束也很大程度上限制了这些方法的实用性。因此，一种无需干净图像、无需网络改造、无需假定噪声模型的图像降噪方法是十分有意义的。

本文中，我们提出了Neighbor2Neighbor：一种仅需要含噪图像即可训练任意降噪网络的方法。本方法是Noise2Noise的扩展，通过理论分析将Noise2Noise推广到了单张含噪图像和相似含噪图像这两个场景，并通过设计采样器的方式从单张含噪图像构造出相似含噪图像。随后通过引入正则项的方式解决了采样过程中相似含噪图像采样位置不同而导致的图像过于平滑的问题。本方法是一种训练策略，可以训练任意降噪网络而无需改造网络结构、无需估计噪声参数，也无需对输出图像进行复杂的后处理。