Real-world image super-resolution (SR) is a challenging image translation problem. Low-resolution (LR) images are often generated by various unknown transformations rather than by applying simple bilinear down-sampling on high-resolution (HR) images. To address this issue, this paper proposes a novel pipeline which exploits style and attention mechanism in real-world SR. Our pipeline consists of a style Variational Autoencoder (styleVAE) and a SR network incorporated with attention mechanism. To get real-world-like low-quality images paired with the HR images, we design the styleVAE to transfer the complex nuisance factors in real-world LR images to the generated LR images. We also use mutual information estimation (MI) to get better style information. For our SR network, we firstly propose a global attention residual block to learn long-range dependencies in images. Then another local attention residual block is proposed to enforce the attention of SR network moving to local areas of images in which texture detail will be filled. It is worth noticing that styleVAE can be presented in a plug-and-play manner and thus can help to improve the generalization and robustness of our SR method as well as other SR methods. Extensive experiments demonstrate that our method surpasses the state-of-the-art work, both quantitatively and qualitatively.


翻译:真实世界图像超分辨率(SR)是一个具有挑战性的图像转换问题。 低分辨率(LR)图像往往是由各种未知的变异生成的,而不是通过对高分辨率图像应用简单的双线下游抽样(HR)图像生成的。 为解决这一问题,本文件提出一个利用真实世界SR的风格和关注机制的新型管道。 我们的管道包括一个风格变异自动编码器(StypeVAE)和一个带有关注机制的SR网络。 为了让真实世界相似的低质量图像与HR图像相匹配,我们设计了风格VAE, 将真实世界 LR图像中的复杂的扰动因子转换为生成的LR图像。 我们还使用共同的信息估计(MI)来获取更好的风格信息。 对于我们的SR网络,我们首先提出一个全球关注残余屏障,以学习图像的远程依赖性。 然后提出另一个本地关注残余屏障, 以强化SR网络的注意力移动到可填充文字细节的地方图像区域。 我们值得注意的是, StyVAE可以将真实性图像中的复杂因素转换成一种高等级的方法, 来展示我们通用的高级的SR- 方法,从而展示我们更精确地展示我们的工作方式和超前的方法。

0
下载
关闭预览

相关内容

图像超分辨率(SR)是提高图像分辨率的一类重要的图像处理技术以及计算机视觉中的视频。
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
1+阅读 · 2020年11月30日
Meta-Transfer Learning for Zero-Shot Super-Resolution
Arxiv
43+阅读 · 2020年2月27日
Arxiv
27+阅读 · 2017年12月6日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
相关论文
Top
微信扫码咨询专知VIP会员