Image restoration is a long-standing low-level vision problem that aims to restore high-quality images from low-quality images (e.g., downscaled, noisy and compressed images). While state-of-the-art image restoration methods are based on convolutional neural networks, few attempts have been made with Transformers which show impressive performance on high-level vision tasks. In this paper, we propose a strong baseline model SwinIR for image restoration based on the Swin Transformer. SwinIR consists of three parts: shallow feature extraction, deep feature extraction and high-quality image reconstruction. In particular, the deep feature extraction module is composed of several residual Swin Transformer blocks (RSTB), each of which has several Swin Transformer layers together with a residual connection. We conduct experiments on three representative tasks: image super-resolution (including classical, lightweight and real-world image super-resolution), image denoising (including grayscale and color image denoising) and JPEG compression artifact reduction. Experimental results demonstrate that SwinIR outperforms state-of-the-art methods on different tasks by $\textbf{up to 0.14$\sim$0.45dB}$, while the total number of parameters can be reduced by $\textbf{up to 67%}$.


翻译:图像恢复是一个长期存在的低水平图像问题,目的是从低质量图像中恢复高质量图像(例如,降尺度、噪音和压缩图像)。尽管最先进的图像恢复方法以共振神经网络为基础,但与在高水平图像任务上表现令人印象深刻的变异器相比,几乎没有尝试过。在本文中,我们提出了一个基于 Swin 变异器的图像恢复的强有力的基线SwinIR模型。 SwinIR 由三个部分组成: 浅色地貌提取、 深色地貌提取和高质量图像重建。 特别是, 深地物提取模块由几个残余的 Swin 变异器块组成, 每个区都有几个Swin 变异器层和一个剩余连接。 我们对三项具有代表性的任务进行了实验: 图像超分辨率( 包括古典、 光量和真实世界图像超分辨率分辨率 ) 、 图像分解( 包括灰度和颜色图像脱色图像脱色) 和 JPEG 压缩工艺品减少。 实验结果显示, SwinIR 超越了不同任务的最新艺术方法,由 $\ textb_____xxxxxxx_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2021年7月30日
专知会员服务
44+阅读 · 2021年6月1日
【ICLR2021】彩色化变换器,Colorization Transformer
专知会员服务
9+阅读 · 2021年2月9日
最新《Transformers模型》教程,64页ppt
专知会员服务
309+阅读 · 2020年11月26日
专知会员服务
52+阅读 · 2020年9月7日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
59+阅读 · 2019年10月17日
多目标跟踪 近年论文及开源代码汇总
极市平台
20+阅读 · 2019年5月12日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
已删除
将门创投
3+阅读 · 2018年6月20日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年10月14日
Arxiv
1+阅读 · 2021年9月18日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
6+阅读 · 2018年1月14日
VIP会员
相关VIP内容
相关资讯
多目标跟踪 近年论文及开源代码汇总
极市平台
20+阅读 · 2019年5月12日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
RL 真经
CreateAMind
5+阅读 · 2018年12月28日
已删除
将门创投
3+阅读 · 2018年6月20日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员