解读：北交大最新提出分类驱动的单图像去雾网络，还可用于图像分类

    点击上方“CVer”，选择加"星标"或“置顶”

重磅干货，第一时间送达

作者：陈翔

https://zhuanlan.zhihu.com/p/93400775

本文授权转载自知乎专栏：陈翔说，未经允许，不得二次转载

论文地址：arxiv.org/abs/1911.0938

大多数现有的去雾算法通常使用手工制作的功能或基于卷积神经网络（CNN）的方法来使用像素级均方误差（MSE）损失生成清晰的图像。生成的图像通常具有更好的视觉吸引力，但对于高级视觉任务（例如图像分类）并不总是具有更好的性能。

在本文中，作者研究了解决此问题的新观点。不仅要确保仅在基于像素的度量标准（例如峰值信噪比（PSNR））上实现良好的定量性能，还应确保已去雾的图像本身不会降低诸如图像分类之类的高级视觉任务的性能。

为此，作者提出了一个统一的CNN架构，其中包括三个部分：除雾子网（DNet），分类驱动的条件生成对抗网络子网（CCGAN）和与图像分类有关的分类子网（CNet），它们在视觉吸引力和图像分类方面都有较好的表现。

作者对两个具有挑战性的基准数据集进行了全面的实验，以进行细粒度和对象分类：CUB-200-2011和Caltech-256。实验结果表明，该方法在图像去雾度量和分类精度方面优于许多最新的单图像去雾方法。

作者在本文做出的主要贡献如下：

1.首先提出一种端到端的统一CNN架构，将去雾和分类相结合以进行图像去雾，并且可以共同优化CNN架构。

2.不使用一般的CGAN，而是使用分类驱动的CGAN子网和分类子网，以同时提高除雾图像的除雾和分类性能。

3.对合成的模糊图像进行了广泛的实验，表明我们的方法在图像除雾指标（PSNR和SSIM）以及AlexNet，VGGNet和ResNet的分类精度上均达到了最佳性能。此外，我们在真实的模糊图像上测试了我们的模型，它具有良好的视觉吸引力，这表明我们提出的模型是有效的。

作者提出了一个统一的网络，该网络不仅可以用于图像去雾，而且还可以用于图像分类，该网络以模糊图像作为输入，可以输出经过去雾的图像以及图像类别。拟议的网络由三部分组成：图像除雾子网（DNet），图像分类驱动的CGAN子网（CCGAN）和图像分类子（CNet）。

对于DNet，使用常用的MSE损失生成旨在具有视觉吸引力的模糊图像。对于CCGAN，使用GAN损失生成旨在获得更好分类性能的去雾图像。对于CNet，使用交叉熵损失生成去雾图像，目的是进一步提高分类性能。

除雾子网的目的是从输入的模糊图像中生成清晰的图像。因此，它不仅应保留输入图像的结构和细节信息，而且应尽可能消除雾度。受ResNet和U-Net的启发，引入了对称层的跳过连接，以突破解码过程中的信息瓶颈。编码过程的每一层都由卷积，批处理规范化和LeakyReLU组成。解码过程的每一层都包括反卷积，批处理归一化和ReLU。

为了使生成的图像具有更好的分类性能，引入了分类驱动的CGAN子网。为了学习一个好的生成器G来愚弄所学的鉴别器D并使鉴别器D足够好以区分真伪，所提出的方法交替更新G和D。

本文中生成器的功能是生成图像的良好特征，而不是像普通的CGAN生成良好的除雾图像。将清晰图像和去雾图像馈送到生成器，并分别获得这两个图像的特征。然后，使用鉴别器来区分哪些特征来自清晰图像，哪些特征来自去雾图像。生成器的网络结构使用VGGNet删除完全连接的层。

鉴别器用于区分特征来自清晰图像（真实）还是去雾图像（伪造）。因此，作者开发了两个完全连接的层网络。对于鉴别器的最后一层，将S形函数应用于特征图，以便可以将概率分数归一化为[0,1]。

为了进一步提高分类性能，最后引入了一个分类子网来联合训练去雾子网，分类驱动的CGAN子网和分类子网，以实现不仅针对PSNR和SSIM的更高性能，而且还针对分类性能。来自除雾子网的预测输出图像（除雾图像）作为输入输入到分类子网。分类子网可以帮助除雾子网生成更清晰的除雾图像，具有更好的分类性能。

总结：

在本文中，作者提出了一种统一的CNN架构，旨在以端到端的学习方法来提高图像去雾和图像分类的性能。与现有方法相比，调查了使用类信息从给定的输入模糊图像中合成模糊图像的方法。作者在两个基准数据集上评估了他们的框架：CUB-200-2011和Caltech-256。在合成和真实朦胧图像上都进行了详细的实验和比较，以证明该方法明显优于许多最新技术。另外，将所提出的方法与基线配置进行比较，以说明通过将分类子网引入框架而获得的性能提升。

更多细节可阅读原文：arxiv.org/abs/1911.0938

重磅！CVer-去雾学术交流群已成立

扫码添加CVer助手，可申请加入CVer-目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪&去雾&去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索等群。一定要备注：研究方向+地点+学校/公司+昵称（如去雾+上海+上交+卡卡）

▲长按加群

▲长按关注我们

麻烦给我一个在看！