Rain streaks degrade the image quality and seriously affect the performance of subsequent computer vision tasks, such as autonomous driving, social security, etc. Therefore, removing rain streaks from a given rainy images is of great significance. Convolutional neural networks(CNN) have been widely used in image deraining tasks, however, the local computational characteristics of convolutional operations limit the development of image deraining tasks. Recently, the popular transformer has global computational features that can further facilitate the development of image deraining tasks. In this paper, we introduce Swin-transformer into the field of image deraining for the first time to study the performance and potential of Swin-transformer in the field of image deraining. Specifically, we improve the basic module of Swin-transformer and design a three-branch model to implement single-image rain removal. The former implements the basic rain pattern feature extraction, while the latter fuses different features to further extract and process the image features. In addition, we employ a jump connection to fuse deep features and shallow features. In terms of experiments, the existing public dataset suffers from image duplication and relatively homogeneous background. So we propose a new dataset Rain3000 to validate our model. Therefore, we propose a new dataset Rain3000 for validating our model. Experimental results on the publicly available datasets Rain100L, Rain100H and our dataset Rain3000 show that our proposed method has performance and inference speed advantages over the current mainstream single-image rain streaks removal models.The source code will be available at https://github.com/H-tfx/SDNet.


翻译:降雨量会降低图像质量,并严重影响随后计算机视觉任务(如自主驱动、社会保障等)的性能。因此,从特定雨量图像中去除雨量非常重要。进化神经网络(CNN)已被广泛用于图像脱线任务,然而,进化操作的本地计算特征限制了图像脱线任务的发展。最近,流行变压器具有全球计算特征,可以进一步促进图像脱线任务的发展。在本文中,我们首次将 Swin- Transtrax引入图像脱线领域,以研究在图像脱线领域Swin-Transer的性能和潜力。具体地说,我们改进了Swin-Transer 神经网络的基本模块,并设计了一个三权模型模型,以实施单一图像脱线任务的发展。前一个流行变压式变压器将不同的特性结合到进一步提取和处理图像解析任务。此外,我们采用跳动连接深度的源和浅色特性。在实验中,现有的公共数据模型在图像复制和相对均匀性地上,我们提出了一个图像复制的Swin-L数据。我们现有的模型在100上展示了我们现有的原始数据。

0
下载
关闭预览

相关内容

专知会员服务
109+阅读 · 2020年3月12日
【Uber AI新论文】持续元学习,Learning to Continually Learn
专知会员服务
36+阅读 · 2020年2月27日
17篇知识图谱Knowledge Graphs论文 @AAAI2020
专知会员服务
171+阅读 · 2020年2月13日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
已删除
将门创投
7+阅读 · 2018年4月18日
Arxiv
11+阅读 · 2019年4月15日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
17+阅读 · 2018年12月24日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
已删除
将门创投
7+阅读 · 2018年4月18日
Top
微信扫码咨询专知VIP会员