改进YOLOv3 ，新的图像自适应框架IA-YOLO：让恶劣天气的目标检测起飞了!!!

↑ 点击 蓝字  关注极市平台

作者丨ChaucerG

来源丨集智书童

编辑丨极市平台

极市导读

 

本文提出了一种新的图像自适应YOLO (IA-YOLO)框架，可以对每张图像进行自适应增强，以提高检测性能。针对YOLO探测器的恶劣天气条件，提出了一种可微分的图像处理(DIP)模块，并利用小型卷积神经网络(CNN-PP)对其参数进行预测。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

虽然基于深度学习的目标检测方法在传统数据集上取得了良好的效果，但在恶劣天气条件下从低质量图像中定位目标仍然具有挑战性。现有的方法要么难以平衡图像增强和目标检测任务，要么往往忽略有利于检测的潜在信息。

为了缓解这一问题，本文提出了一种新的图像自适应YOLO (IA-YOLO)框架，可以对每张图像进行自适应增强，以提高检测性能。针对YOLO探测器的恶劣天气条件，提出了一种可微分的图像处理(DIP)模块，并利用小型卷积神经网络(CNN-PP)对其参数进行预测。

IA-YOLO以端到端的方式学习CNN-PP和YOLOv3，这确保CNN-PP可以学习适当的DIP，以弱监督的方式增强图像进行检测。

本文提出的IA-YOLO方法可以在正常和恶劣天气条件下自适应处理图像。实验结果证明了IAYOLO方法在雾天和弱光情况下的有效性。

1 所提方法

在恶劣天气条件下拍摄的图像，由于特定天气信息的干扰，能见度较差，导致目标检测困难。为了解决这一挑战，本文提出了一种图像自适应检测框架，通过去除特定天气信息并揭示更多潜在信息。如图2所示，整个管道由一个基于cnn的参数预测器(CNNPP)、一个可微分图像处理模块(DIP)和一个检测网络组成。首先调整输入图像的大小为256x256，并将其输入到CNN-PP，以预测DIP的参数。然后，将经过DIP模块滤波后的图像作为YOLOv3检测器的输入。作者提出了一种端到端的混合数据训练方案，该方案具有检测损失，使CNN-PP能够学习适当的DIP，以弱监督方式增强图像的目标检测。

DIP Module

图像滤波器的设计应遵循可微性、分辨率独立的原则。对于基于梯度的CNN-PP优化，滤波器应该是可微的，以允许通过反向传播训练网络。由于CNN在处理高分辨率图像(如4000×3000)时会消耗大量的计算资源，所以在本文中，从下采样的大小为256×256的低分辨率图像中学习滤波器参数，然后将相同的滤波器应用到原始分辨率的图像中。因此，这些过滤器需要独立于图像分辨率。

我们提出的DIP模块由六个可微滤波器组成，具有可调超参数，包括Defog、White Balance(WB)、Gamma、Contrast、Tone和Sharpen。标准的颜色和色调操作符，如WB、Gamma、Contrast和Tone，可以表示为像素级滤波器。因此，设计的滤波器可以分为雾化、像素化和锐化。在这些滤波器中，除雾滤波器是专门为大雾场景设计的。具体情况如下。

1、像素级滤波器

像素级滤波器映射一个输入像素值 转换为输出像素值 , 其中 分别表示红、绿、蓝三个颜色通道的值。表1列出了四个像素级过滤器的映射函数, 其中第二列列出了在本文的方法中要优化的参数。WB和Gamma是简单的乘法和功率变换。显然, 它们的映射函数对于输入图像和参数都是可微的。

设计了可微对比度滤波器, 输入参数设置原始图像和完全增强图像之间的线性揷值。所示表 1 , 映射函数中 的定义如下:

这里将tone 滤波器设计为一个单调的分段线性函数。用 参数学习tone滤波器, 用 表示, tone曲线的点记为 , 其中 此外, 映射函 数用可微参数表示, 这使得函数对于输入图像和参数都是可微的, 如下所示

2、锐化滤波器

图像锐化可以突出图像的细节。就像未锐化掩模技术(Polesel, Ramponi, and Mathews 2000)，锐化过程可以描述如下:

其中 为输入图像, 为高斯滤波器, 为正缩放因子。这个锐化操作对于 和 都是可微的。注意, 锐化程度可以通过优化 调优目标检测性能。

3、除雾滤波器

基于暗通道先验方法设计了一个具有可学习参数的除雾滤波器。基于大气散射模型, 豚胧图像 的形成可以表述为:

其中 为雾天图像， 为场景亮度。A为全球大气光, 为介质透射图, 定义为:

其中 为大气的散射系数, 为场景深度。

为了恢复干净图像 , 关键是获取大气光 和透射图 。为此, 首先计算暗通道图, 并选 择最亮的 1000 个像素。然后, 对雾露图像 的 1000 个像素平均估计 。

根据上式, 可以推导出 的近似解如下:

进一步介绍一个参数 除雾程度控制方法如下:

由于上面的操作是可微的, 可以优化 通过反向传播使除雾滤波器更有利于雾天图像的检测。

CNN-PP Module

在相机图像信号处理(ISP)管道中，通常使用一些可调滤波器进行图像增强，其超参数由经验丰富的工程师通过视觉检查手动调整。

通常，这样的调优过程是非常笨拙和昂贵的，以找到合适的参数，广泛的场景。为了解决这一局限性，建议使用一个较小的CNN作为参数预测器来估计超参数，这是非常有效的。

以雾天场景为例，CNN-PP的目的是通过了解图像的全局内容，如亮度、颜色和色调以及雾的程度来预测DIP的参数。因此，下采样图像足以估计这些信息，可以大大节省计算成本。对于任意分辨率的输入图像，我们简单地使用双线性插值将其采样到256×256分辨率。如图2所示，CNN-PP网络由5个卷积块和2个全连接层组成。

每个卷积块包括一个带有stride=2的3 × 3卷积层和一个LeakyRelu。最后的全连接层输出DIP模块的超参数。这5个卷积层的输出通道分别为16、32、32、32和32。的当参数总数为15时，CNN-PP模型只包含165K个参数。

Detection Network Module

在本文中，选择one-stage检测器YOLOv3作为检测网络。与之前的版本相比，YOLOv3基于ResNet的思想设计了darknet-53，由连续的3×3和1×1卷积层组成。通过对多尺度特征图进行预测，实现多尺度训练，从而进一步提高检测精度，特别是对小目标的检测精度。采用了与原来相同的网络结构和损失函数。

Hybrid Data Training

为了在正常和恶劣天气条件下都能达到理想的检测性能，采用了IA-YOLO混合数据训练方案。算法1总结了提出方法的训练过程。

在输入到网络进行训练之前，每一幅图像都有2/3的概率被随机添加某种雾或被转换为微光图像。无论是普通的还是合成的低质量训练数据，整个过程都是端到端训练，使用YOLOv3检测损失，确保IA-YOLO中的所有模块都可以相互适应。

因此，CNN-PP模块在不手动标注GT真实图像的情况下，受到检测损失的弱监督。混合数据训练模式确保IA-YOLO可以根据每张图像的内容自适应处理图像，从而实现较高的检测性能。

2 实验

指标如下：

可视化结果

参考

[1].Image-Adaptive YOLO for Object Detection in Adverse Weather Conditions

如果觉得有用，就请分享到朋友圈吧！

△点击卡片关注极市平台，获取 最新CV干货

公众号后台回复“transformer”获取最新Transformer综述论文下载～

极市干货

课程/比赛： 珠港澳人工智能算法大赛 ｜保姆级零基础人工智能教程

算法trick ： 目标检测比赛中的tricks集锦 ｜ 从39个kaggle竞赛中总结出来的图像分割的Tips和Tricks

技术综述： 一文弄懂各种loss function ｜ 工业图像异常检测最新研究总结（2019-2020）

# CV技术社群邀请函 #

△长按添加极市小助手

添加极市小助手微信（ID : cvmart4）

备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）

即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群

每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

觉得有用麻烦给个在看啦~