基于引用的图像超级分辨率的变式自动编码器 (Variational AutoEncoder for Reference based Image Super-Resolution)

In this paper, we propose a novel reference based image super-resolution approach via Variational AutoEncoder (RefVAE). Existing state-of-the-art methods mainly focus on single image super-resolution which cannot perform well on large upsampling factors, e.g., 8$\times$. We propose a reference based image super-resolution, for which any arbitrary image can act as a reference for super-resolution. Even using random map or low-resolution image itself, the proposed RefVAE can transfer the knowledge from the reference to the super-resolved images. Depending upon different references, the proposed method can generate different versions of super-resolved images from a hidden super-resolution space. Besides using different datasets for some standard evaluations with PSNR and SSIM, we also took part in the NTIRE2021 SR Space challenge and have provided results of the randomness evaluation of our approach. Compared to other state-of-the-art methods, our approach achieves higher diverse scores.

翻译：在本文中,我们提出一个新的基于参考的图像超分辨率方法,即通过变式自动读取器(RefVAE),现有最先进的方法主要侧重于单个图像超分辨率,在大型抽样因素上无法很好地发挥作用,例如,8$\times $。我们提议了一个基于参考的图像超分辨率,任何任意图像都可以作为超级分辨率的参考。即使使用随机地图或低分辨率图像本身,拟议的RefVAE也可以从超级解析图像的引用中传输知识。根据不同的参考,拟议方法可以生成隐藏的超分辨率空间的超级解析图像的不同版本。除了使用不同的数据集对PSNR和SSIM进行某种标准评估外,我们还参与了NTIRE2021SR空间挑战,并提供了我们方法随机性评估的结果。与其他最新方法相比,我们的方法可以实现更高的不同分数。

相关内容

自编码器

关注 138

自动编码器是一种人工神经网络，用于以无监督的方式学习有效的数据编码。自动编码器的目的是通过训练网络忽略信号“噪声”来学习一组数据的表示（编码），通常用于降维。与简化方面一起，学习了重构方面，在此，自动编码器尝试从简化编码中生成尽可能接近其原始输入的表示形式，从而得到其名称。基本模型存在几种变体，其目的是迫使学习的输入表示形式具有有用的属性。自动编码器可有效地解决许多应用问题，从面部识别到获取单词的语义。