【CVPR 2022】未知损坏的一体化图像恢复,All-In-One Image Restoration for Unknown Corruption

背景：图像复原旨在从给定退化图像（如噪声图像等）中恢复出视觉友好的高质干净图像。尽管近年来研究者们提出了大量的图像恢复方法并在特定任务上取得了良好的效果，但这些方法在现实使用中仍然受以下问题困扰。首先，传统的针对单一退化类型和程度的方法很难处理变化多样的退化图像。例如自动驾驶场景中，自动驾驶汽车可能会连续遇到雨天、雾天等，这就亟需一个统一模型能处理不同类型的退化。一体两面地，图像复原一般地需要以输入图片的退化类型和程度为先验，从而选择合适的方法。显然，这样的先验在现实中往往难以获得，难以适应性复杂变化的环境，且现实场景中的退化类型和程度往往会随环境不断变化。针对上述问题，本文拟研究以下挑战问题，即如何构建神经网络使得其能处理各种退化类型和程度未知的退化图像。

创新：本文的创新主要包括以下两方面的内容。首先，据知，该文在国际上较早地开展了针对如何设计统一的网络以应对多种未知退化类型、程度的退化图像的研究。其次，为应对上述挑战，该文提出了一个退化导向的图像恢复网络，其能有效学习不同类型的退化表示。由于提出的方法在测试阶段不需要任何输入图像的退化信息，所以其更接近实际的应用场景。

方法：针对本文所揭示的挑战问题，该文提出了一种多合一的图像恢复网络（All-in-one Image Restoration Network, AirNet），其由基于对比学习的退化编码器（Contrastive-Based Degradation Encoder, CBDE）和退化导向的恢复网络（Degradation-Guided Restoration Network, DGRN）组成，具体如图4所示。

对于一张未知退化类型和程度的输入图像，首先利用退化编码器捕获输入图像的退化表示，之后将输入图像与退化表示一起送入恢复网络获得最终的恢复图像。具体地，对于退化编码器，将来自同一幅图像的图像块作为正样本，来自不同退化类型图像的图像块作为负样本，通过对比学习的方法进行训练以让编码器自适应的捕获图像的退化信息。对于图像恢复网络，其最基础的模块是退化导向模块（Degradation-Guided Module, DGM）。由于处理不同的退化图像所需的感受域和分布不同，论文在退化导向模块中设计了可以变形卷积分支和空域特征以在退化特征的导向下自适应的调整网络的感受域和分布。

结果：为验证提出方法的有效性，论文在三种退化类型（图像去噪、去雨、去雾）下，采用One-by-One和All-in-One两种不同的实验设定进行了对比实验。具体地，在One-by-One设定下，论文将模型在各个退化类型上分别训练和测试以验证模型其在单一退化类型下的图像恢复能力。在All-in-One设定下，论文将三种退化类型的数据合在一起进行训练和测试以验证其在多种退化类型下的图像恢复能力。结果如表2所示，提出的方法在绝大多数的情况下获得了最优的效果，证明了其有效性。更多结果和分析详见原文。