Compared to other severe weather image restoration tasks, single image desnowing is a more challenging task. This is mainly due to the diversity and irregularity of snow shape, which makes it extremely difficult to restore images in snowy scenes. Moreover, snow particles also have a veiling effect similar to haze or mist. Although current works can effectively remove snow particles with various shapes, they also bring distortion to the restored image. To address these issues, we propose a novel single image desnowing network called Star-Net. First, we design a Star type Skip Connection (SSC) to establish information channels for all different scale features, which can deal with the complex shape of snow particles.Second, we present a Multi-Stage Interactive Transformer (MIT) as the base module of Star-Net, which is designed to better understand snow particle shapes and to address image distortion by explicitly modeling a variety of important image recovery features. Finally, we propose a Degenerate Filter Module (DFM) to filter the snow particle and snow fog residual in the SSC on the spatial and channel domains. Extensive experiments show that our Star-Net achieves state-of-the-art snow removal performances on three standard snow removal datasets and retains the original sharpness of the images.


翻译:相较于其他严重气象影像修复任务,单幅图像去雪是一项更具挑战性的任务。这主要是因为雪的形状多样且不规则,导致在雪景中修复图像极其困难。此外,雪粒子还具有类似于雾霾或雾气的遮盖效应。尽管当前的工作可以有效地去除具有各种形状的雪粒子,但它们也会给恢复图像带来失真。为了解决这些问题,我们提出了一种新的单幅图像去雪网络称为“星型网络”(Star-Net)。首先,我们设计了一种星形跳跃连接(SSC)来为所有不同尺度的特征建立信息通道,这可以处理雪粒子的复杂形状。其次,我们提出了一个多阶段交互变压器(MIT)作为Star-Net的基本模块,旨在更好地理解雪粒子形状,并通过显式建模各种重要图像恢复特征来解决图像失真问题。最后,我们提出了一种退化滤波器模块(DFM),以在空间和通道域中过滤SSC中的雪粒子和雪雾残留物。广泛的实验证明,我们的Star-Net在三个标准去雪数据集上实现了最先进的去雪性能,并保留了原始图像的清晰度。

0
下载
关闭预览

相关内容

IFIP TC13 Conference on Human-Computer Interaction是人机交互领域的研究者和实践者展示其工作的重要平台。多年来,这些会议吸引了来自几个国家和文化的研究人员。官网链接:http://interact2019.org/
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
19+阅读 · 2022年4月20日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月5日
Arxiv
14+阅读 · 2021年3月10日
Arxiv
19+阅读 · 2018年3月28日
VIP会员
相关VIP内容
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
19+阅读 · 2022年4月20日
相关基金
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员