Recent advances in deep learning have been pushing image denoising techniques to a new level. In self-supervised image denoising, blind-spot network (BSN) is one of the most common methods. However, most of the existing BSN algorithms use a dot-based central mask, which is recognized as inefficient for images with large-scale spatially correlated noise. In this paper, we give the definition of large-noise and propose a multi-mask strategy using multiple convolutional kernels masked in different shapes to further break the noise spatial correlation. Furthermore, we propose a novel self-supervised image denoising method that combines the multi-mask strategy with BSN (MM-BSN). We show that different masks can cause significant performance differences, and the proposed MM-BSN can efficiently fuse the features extracted by multi-masked layers, while recovering the texture structures destroyed by multi-masking and information transmission. Our MM-BSN can be used to address the problem of large-noise denoising, which cannot be efficiently handled by other BSN methods. Extensive experiments on public real-world datasets demonstrate that the proposed MM-BSN achieves state-of-the-art performance among self-supervised and even unpaired image denoising methods for sRGB images denoising, without any labelling effort or prior knowledge. Code can be found in https://github.com/dannie125/MM-BSN.


翻译:深度学习的快速发展将图像去噪技术推向了新的高度。盲点网络(BSN)是一种常见的自监督图像去噪方法。然而,现有的大部分BSN算法使用基于点的中央掩蔽,这在大规模空间相关的噪声图像中效率低下。在本文中,我们给出了大噪声的定义,并提出了一种多掩蔽策略,使用不同形状的多个卷积核来进一步打破噪声的空间相关性。此外,我们还提出了一种将多掩蔽策略与BSN结合的新型自监督图像去噪方法(MM-BSN)。我们展示了不同的掩蔽策略可能导致显著的性能差异,并且MM-BSN可以有效地融合多个被掩蔽层提取的特征,同时恢复多掩蔽和信息传输破坏的纹理结构。我们的MM-BSN可以用来解决其他BSN方法无法高效处理的大噪声去噪问题,而不需要任何标记工作或先验知识。公共真实世界数据集上的大量实验表明,所提出的MM-BSN在sRGB图像去噪方面实现了自监督甚至非配对图像去噪方法的最先进性能。代码可在https://github.com/dannie125/MM-BSN中找到。

0
下载
关闭预览

相关内容

【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
36+阅读 · 2022年7月11日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
CVPR 2019 | 重磅!34篇 CVPR2019 论文实现代码
AI研习社
11+阅读 · 2019年6月21日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月19日
Arxiv
16+阅读 · 2021年1月27日
Arxiv
19+阅读 · 2018年3月28日
VIP会员
相关VIP内容
【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
36+阅读 · 2022年7月11日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员