VALSE 论文速览第32期：From Rain Generation to Rain Removal

2021 年 12 月 7 日 VALSE

为了使得视觉与学习领域相关从业者快速及时地了解领域的最新发展动态和前沿技术进展，VALSE最新推出了《论文速览》栏目，将在每周发布一至两篇顶会顶刊论文的录制视频，对单个前沿工作进行细致讲解。本期VALSE论文速览选取了来自西安交通大学等机构的单幅图像去雨方面的工作。该工作由孟德宇教授指导，王红同学录制。

论文题目：From Rain Generation to Rain Removal

作者列表：王红 (西安交通大学)，岳宗胜 (西安交通大学)，谢琦 (西安交通大学)，赵谦 (西安交通大学)，郑冶枫 (腾讯天衍实验室)，孟德宇 (西安交通大学)

B站观看网址：

https://www.bilibili.com/video/BV12Y411p7vV/

复制链接到浏览器打开或点击阅读原文即可跳转至观看页面。

论文摘要：

针对单幅图像去雨 (single image rain removal, SIRR) 任务，基于深度学习的算法其性能主要受去雨模型和训练数据集的影响。目前，大多数深度单图去雨算法聚焦于设计复杂多样的网络结构以及学习策略来提升去雨效果。在该工作中，为了进一步提升现有方法的去雨性能，我们尝试从训练数据集的角度出发，通过探索更为有效的雨图合成方式来更好地处理该SIRR任务。具体而言，基于对雨图的物理机制的认知，我们构建了一个完全贝叶斯生成模型并将复杂雨层参数化建模为隐式生成器，其中该生成器的输入是刻画雨条的物理结构化因子，如方向、尺度以及厚度。为了求解该模型，我们利用变分推理框架并结合数据驱动的方式来逼近雨图的期望统计分布。通过学习到的生成器，我们可以自动化生成多样且非重复的大量雨条从而可以生成成对的数据集用以丰富扩充当前已有的合成数据集。定性且定量的用户评分证实了我们所提方法生成的雨图具有较高的逼真性。此外，综合的去雨实验印证了所提模型可以提取到复杂雨条潜在的流形分布，这不但有助于进一步提升当前深度单图去雨方法的性能，而且在很大程度上降低了预先搜集大量训练样本的成本开销。

论文信息：

[1]Hong Wang, Zongsheng Yue, Qi Xie, Qian Zhao, Yefeng Zheng, and Deyu Meng. "From Rain Generation to Rain Removal." In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR’21), pp. pp. 14791-14801, virtual, June 2021.

论文链接：

[https://openaccess.thecvf.com/content/CVPR2021/papers/Wang_From_Rain_Generation_to_Rain_Removal_CVPR_2021_paper.pdf]

代码链接：

[https://github.com/hongwang01/VRGNet]

视频讲者简介：

王红，西安交通大学博士生，研究方向为计算机视觉和图像处理，目前专注于自然图像复 (如去雨条、去噪、超分辨等)和医疗图像复原以及重构 (如CT图像金属伪影移除、快速磁共振超分及重建)。