港中文《深度学习单图像超分辨率》综述论文

单图像超分辨率(SISR)是图像处理中的一项重要任务，其目的是提高成像系统的分辨率。近年来，在深度学习(deep learning, DL)的帮助下，SISR取得了巨大的飞跃，并取得了可喜的成果。在本文中，我们概述了基于深度学习的SISR方法，并根据它们的目标，如重建效率、重建精度和感知精度进行分组。具体地，首先介绍了问题的定义、研究背景和研究意义。其次，介绍了相关工作，包括基准数据集、上采样方法、优化目标和图像质量评价方法。第三，详细介绍了系统集成研究的基本原理，并给出了系统集成研究的一些具体应用。第四，我们给出了一些经典的SISR方法的重构结果，直观地了解了它们的性能。最后，本文还讨论了该研究中存在的一些问题，并总结了一些新的发展趋势和未来的发展方向。这是对SISR的详细调研，有助于研究者更好地理解SISR，并激发更多的研究。关于SISR的调研项目见https://github.com/CV-JunchengLi/SISR-Survey。

引言

图像超分辨率，特别是单图像超分辨率是一种图像转换任务，受到了学术界和工业界的越来越多的关注。如图1所示，SISR的目标是从退化的低分辨率(LR)图像重建超分辨率(SR)图像。它被广泛应用于各种计算机视觉应用，包括安全和监控图像、医学图像重建、视频增强和图像分割。

许多SISR方法的研究由来已久，如基于插值的双三次插值和Lanczos重采样[1]。然而，SISR是一个固有的不适定问题，总是存在多个HR图像对应一个原始LR图像。为了解决这一问题，一些数值方法利用先验信息来限制重构的解空间，如基于边缘的方法[2]和基于图像统计的方法[3]。同时，也有一些被广泛使用的学习方法，如邻居嵌入方法[4]和稀疏编码方法[5]，这些方法假设LR和HR patch之间存在转换。

最近，深度学习(DL)[6]在许多人工智能领域表现出比传统机器学习模型更好的性能，包括计算机视觉[7]和自然语言处理[8]。随着DL技术的快速发展，许多基于DL的方法被提出用于SISR，不断地推动了SOTA的发展。与其他图像变换任务一样，SISR任务一般分为三个步骤:特征提取与表示、非线性映射和图像重构[9]。在传统的数值模型中，设计满足这些过程的算法既费时又低效。相反，DL可以将SISR任务转移到一个几乎端到端的框架中，包含所有这三个过程，这可以大大减少人工和计算费用[10]。此外，考虑到SISR的病态性质会导致结果不稳定和难以收敛，DL可以通过有效的网络结构和损失函数设计来缓解这个问题。此外，现代GPU使更深、更复杂的DL模型能够快速训练，表现出比传统数值模型更强的表示能力。

众所周知，基于深度学习的方法可以分为监督方法和非监督方法。这是最简单的分类标准，但这个分类标准的范围太大，不清楚。因此，许多技术上不相关的方法可能被归为同一类型，而策略相似的方法可能被归为完全不同的类型。不同于以往的基于DL的SISR调研[11]、[12]以监督为分类标准或以纯文献的方式介绍方法，本次调研试图对基于DL的SISR方法进行全面概述，并根据其具体目标进行分类。在图2中，我们展示了这次调研查的内容和分类。显然，我们将基于DL的SISR方法分为四类:重构效率方法、重构精度方法、感知质量方法和进一步改进方法。本调研有明确的背景，便于读者查阅。具体来说，本文首先介绍了SISR的问题定义、研究背景和意义。然后介绍了相关的工作，包括基准数据集、上样本方法、优化目标和评价方法。在此基础上，详细介绍了各种方法，并给出了它们的重建结果。最后，本文还讨论了该技术存在的一些问题，并提出了一些新的发展方向和方向。总的来说，本次综述的主要贡献如下: