北大开源ECCV2018深度去雨算法：RESCAN

极市平台是专业的视觉算法开发和分发平台，加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~

来源：我爱计算机视觉

编者按：本文来自于ECCV2018接收的论文《Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining》。性能强悍，在所有评估指标下碾压state-of-the-art方法。

图像中雨水条纹会严重降低能见度，导致许多当前的计算机视觉算法无法工作，比如在自动驾驶场景下图像去雨就变得非常重要。本文提出了一种基于深度卷积和递归神经网络的新型深度网络体系结构，用于单图像去雨。

该文对图像去雨的多个挑战分别提出了解决方案，取得了非常显著的算法改进。

1.由于背景信息对于定位雨水位置非常重要，该文首先使用了扩张卷积神经网络（dilated convolutional neural network ）来获取大的感受野，同时为更好地适应去雨任务修改了扩张卷积网络。

2.在大雨的图像中，雨水条纹有各种方向和形状，此时将其看作是多个雨水层的叠加。通过结合squeeze-and-excitation模块，根据强度和透明度为不同的雨水条纹层分配不同的α值。

3.由于雨水条纹层彼此重叠，因此在一个stage中不容易完全除去雨水。因此进一步将雨水分解分为多个stage。结合递归神经网络保留先前阶段中的有用信息并有利于后期的除雨。

最终算法在合成数据集和真实数据集上进行了大量实验，结果显示该文提出的方法在所有评估指标下都优于目前的state-of-the-art方法。

SCAN

结合扩张卷积和squeeze-and-excitation模块的单stage的网络架构。

SCAN的细节参数

RESCAN

结合RNN的多个stage的去雨架构。

在合成数据集上的去雨效果

合成数据集上的性能指标

相比以往算法改进异常显著。

真实数据集上的去雨效果

在真实数据集上用户调查结果

主观评价方法，通过对127幅图像6个人的投票调查，选择最佳去雨效果和保留的最佳细节的图像。RESCAN取得了压倒性优势。

代码：https://github.com/XiaLiPKU/RESCAN

论文：https://arxiv.org/abs/1807.05698v1

*推荐文章*

DensePose开源了，2D变3D人体姿势实时识别 | Facebook@CVPR 2018

IEEE IV 2018：如何构建出逼真的下雨天场景，来验证物体识别的鲁棒性？德国图宾根大学做到了

---

每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击左下角“阅读原文”立刻申请入群~