基于深度学习的单幅图像超分辨率重建算法综述

单幅图像超分辨率重建是计算机视觉领域上的一个重要问题, 在安防视频监控、飞机航拍以及卫星遥感等方面具有重要的研究意义和应用价值. 近年来, 深度学习在图像分类、检测、识别等诸多领域中取得了突破性进展, 也推动着图像超分辨率重建技术的发展. 本文首先介绍单幅图像超分辨率重建的常用公共图像数据集; 然后重点阐述基于深度学习的单幅图像超分辨率重建方向的创新与进展; 最后讨论了单幅图像超分辨率重建方向上存在的困难和挑战, 并对未来的发展趋势进行了思考与展望.

http://www.aas.net.cn/cn/article/doi/10.16383/j.aas.c190859

单幅图像超分辨率(Single image super-resolution, SISR)重建是根据一张低分辨率(Low resolution, LR)图像恢复出高分辨率(High resolution, HR)图像的过程, 研究超分辨率的学者将图像重建成×2、×3、×4、×8这4种尺度的较多, 其中×2代表将图像的边长放大2倍, 即像素密度增加4倍, ×3、×4和×8与其同理.

超分辨率重建在卫星、遥感、天文学、安防、生物医学等诸多领域以及恢复珍贵的历史图像资料上起到了非常重要的作用. 目前在计算机视觉上单幅图像超分辨率已经成为一个专门的学术问题, 吸引了国内外众多学者的关注与研究.

在深度学习未兴起前, 经典的单幅图像超分辨率算法占据主导地位, Lanczos重采样[1]和双三次插值[2]得到了广泛的应用, 但采用插值方法有时会导致图像边缘和细节模糊, 因此其他传统算法也被相继提出[3-5], 有效地增强了图像的质量. 经典的超分辨率重建算法需要很多先验知识, 且要求研究者具有深厚的专业知识储备. 随着深度学习的兴起, 由于该技术不需要过多的先验知识, 且重建后的图像质量优于传统算法, 因此得到了广泛的关注. Dong等[6]首先将卷积神经网络应用到图像超分辨率重建技术中, 提出了超分辨率重建卷积神经网络(Super-resolution convolutional neural network, SRCNN), 图1为SRCNN的模型框架图, 虽然只有三层神经网络, 但相比于经典超分辨率算法, 取得了显著的效果. SRCNN的出现, 吸引了国内外学者将神经网络的各种变体应用到图像超分辨率研究中, 包括卷积神经网络[7]、对抗神经网络[8]以及二者的结合[9]等.

本文从超分辨率图像数据集、基于深度学习的单幅图像超分辨率重建的研究进展、图像质量评估准则、实验结果与分析以及存在的问题与挑战出发, 对单幅图像超分辨率重建进行了全面综述, 系统的回顾了单幅图像超分辨率重建技术的发展.

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“单幅图像” 可以获取《基于深度学习的单幅图像超分辨率重建算法综述》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源