南京大学等最新《深度人脸恢复》综述论文，21页pdf全面阐述深度学习人脸恢复去噪、超分辨率、去模糊、去除伪影方法

2022 年 11 月 21 日 专知

本文全面综述了深度学习技术在人脸复原方面的最新进展

人脸恢复(Face Restoration, FR)旨在从低质量(Low-Quality, LQ)输入图像中恢复高质量(High-Quality, HQ)的人脸，这是低层次计算机视觉领域中一个特定领域的图像恢复问题。早期的人脸恢复方法主要采用统计先验和退化模型，在实际应用中难以满足实际应用的要求。近年来，人脸修复技术在进入深度学习时代后取得了长足的进展。然而，系统研究基于深度学习的人脸恢复方法的工作还很少。因此，全面综述了深度学习技术在人脸复原方面的最新进展。具体而言，我们首先总结了不同的问题公式，并分析了人脸图像的特征。其次，讨论了人脸复原面临的挑战。针对这些挑战，我们对现有的FR方法进行了全面的回顾，包括基于先验的方法和基于深度学习的方法。然后，我们探讨了FR任务中开发的技术，包括网络架构、损失函数和基准数据集。我们还对有代表性的方法进行了系统的基准评价。最后，我们讨论了未来的方向，包括网络设计、度量、基准数据集、应用程序等。我们还为所有讨论过的方法提供了一个开源存储库，可在

https://github.com/TaoWangzj/Awesome-Face-Restoration获得。

1. 概述

人脸恢复是一种特定领域的图像恢复问题，是图像处理和计算机视觉领域的经典课题。人脸复原是从退化的人脸图像中恢复出高质量的人脸图像Ihq，其中D为噪声无关的退化函数，nδ为加性噪声。根据退化函数D的不同形式，人脸复原任务可分为五大类:(1)人脸去噪，即去除人脸图像[1]，[2]中包含的噪声(如高斯噪声)，(2)人脸去模糊，即从由相机抖动或物体运动[3]，[4]等各种因素造成的模糊人脸图像中恢复潜在的锐利人脸图像，(3)人脸超分辨率(也称为人脸幻觉[5])，旨在提高低分辨率人脸图像[6]，[7]的质量和分辨率，(4)人脸伪影去除。即从给定的低质量的人脸图像中恢复高质量的人脸图像[8]，[9]，(5)人脸盲复原是指在不知道退化类型或参数[8]，[9]的情况下，从低质量的人脸图像中恢复高质量的人脸图像。图1展示了由这些退化形式造成的低质量人脸图像的示例，这些退化不仅影响视觉质量，而且影响下游计算机视觉算法的性能。因此，人脸修复具有广泛的应用，包括人脸识别[10]，隐私保护[11]，自动驾驶[12]。

早期的人脸复原方法主要集中在统计先验和退化模型上，大致可分为基于贝叶斯推理的方法[6]、[13]，基于子空间学习的方法[14]、[15]，基于稀疏表示的方法[16]、[17]等。近年来，随着深度学习的发展和大规模数据集的可用性，基于深度学习的方法受到了越来越多的关注。因此，文献中已经提出了大量基于深度学习的人脸恢复方法。一般来说，基于深度学习的人脸恢复方法采用不同的技术来构建最先进的网络。所采用的技术主要集中在以下几个方面:不同的深度学习架构[7]，[18]，[19]，[20]，不同的面部先验[21]，[22]，[23]，[24]，不同的损失函数[21]，[25]，[26]，[27]，不同的学习策略[28]，[29]等。虽然近年来深度学习解决方案在人脸修复研究中占据主导地位，但运用深度学习技术进行人脸修复的深入、全面的研究还比较缺乏。因此，本文对深度学习方法在人脸修复中的应用进行了全面、系统的综述。

本文系统、全面地回顾了近年来人脸修复技术的研究进展。本次综述的分类如图2所示。我们从不同的方面进行综述，包括问题的制定、现有的挑战、最新的方法、技术发展、性能评估和未来的方向。本文的贡献总结如下。(一)讨论了人脸复原中主要的退化模型、常用的指标以及人脸图像与自然图像的区别。(II)我们讨论了人脸修复中存在的挑战，并对现有的基于深度学习的人脸修复方法进行了全面概述。(三)我们对方法的技术发展进行深入分析和讨论。

2. 人脸复原方法

通用图像恢复方法旨在设计高效的自然图像恢复方法。然而，人脸作为一个高度结构化的对象，具有特定的特征，这是一般的图像恢复方法所忽略的。因此，大多数的人脸恢复方法都是结合人脸先验知识来恢复更清晰的人脸结构。在模型中开发的人脸特定先验主要基于人类面部在受控环境中表现出微小变化的常识。另一方面，也有一些方法旨在开发网络来学习无人脸先验的低质量和高质量人脸图像之间的映射函数。近年来面部修复的里程碑如图5所示。我们将人脸恢复方法分为两类:基于先验的深度恢复方法和基于非先验的深度学习方法。此外，基于先验的深度恢复方法大致可分为三组:基于几何先验的深度恢复方法、基于参考先验的深度恢复方法和基于生成先验的深度恢复方法。人脸修复方法总结如表2所示。下面，我们将详细讨论这些方法。

3. 技术发展概览

在本节中，我们从以下几个方面讨论了现有的人脸恢复的发展: 网络架构、基本块、损失函数和基准数据集。

网络体系结构

现有的最先进的网络是通过专注于面部先验、预训练GAN模型和Vit架构来设计的

在人脸修复领域，设计了不同类型的基本块来构建强大的人脸修复网络。

为了优化人脸修复网络，文献中提出了许多损失函数。一般来说，现有方法中使用的损失函数可以大致分为像素损失、感知损失、对抗性损失和面部特定损失。

数据集

实验性能

4. 结论

在这项工作中，我们系统地研究了使用深度学习的人脸复原方法。我们讨论了不同的退化模型、人脸图像的特征、人脸恢复的挑战，以及现有的基于几何先验的方法、基于参考先验的方法、基于生成先验的方法和基于非先验的方法的核心思想。在全面回顾人脸恢复方法的基础上，从网络结构、基本块、损失函数和基准数据集等方面探讨了人脸恢复方法的先进技术。我们还评估了合成和现实数据集上的代表性方法。最后，我们讨论了未来的方向，包括网络设计、度量、基准数据集、应用程序等。

专知便捷查看