ACM旗舰期刊最新综述：一览端到端人脸识别最新进展

©作者 | 小舟、陈萍

来源 | 机器之心

人脸识别是计算机视觉（CV）领域中最热门和悠久的研究课题之一。本篇综述全面地回顾了端到端深度学习人脸识别系统的三个组成要素，包括人脸检测、人脸对齐和人脸表征。从最新的算法设计，评估指标，数据集，方法性能比较，现有的挑战和未来发展方向等方面展开介绍，同时讨论了不同要素对后续环节和整体识别系统的影响。通过该综述，作者期望读者能够认识到各个要素中值得进一步探索的方法，以及如何从头开始选择合适的方法来建立一套先进的端到端人脸识别系统。该综述已被 ACM 旗舰期刊 Computing Surveys（IF 10.282）接收。

端到端深度人脸识别系统由三个关键要素构成：人脸检测（face detection）、人脸对齐（face alignment）和人脸表征（face representation）。其中，人脸检测的作用是定位静止图像或视频帧中的人脸位置。然后，人脸对齐将人脸校准到一个规范的视角，并将人脸图像裁剪到一个标准化像素大小。最后，在人脸表征阶段，从对齐后的图像中提取具有鉴别性的特征用于识别。

在实际应用中，端到端人脸识别系统的性能表现同时取决于上述三种组成要素，任何一个环节出现短板，都会对端到端系统的识别性能造成不良影响，成为人脸识别系统的瓶颈。为了建立一套先进的端到端人脸识别系统，因此有必要理解每个要素对系统整体的影响，以及各个要素之间的内在联系。

论文地址：https://arxiv.org/pdf/2009.13290.pdf

因此，来自上海大学、京东 AI 研究院和瑞尔森大学的研究者联合撰写的这篇综述具有以下几项主要贡献：

• 系统地调研并回顾了端到端深度人脸识别三个组成要素的最近进展；

• 从多个方面介绍了这三个组成要素: 算法设计、评估指标、数据集和性能比较。并且指出了各个要素对其后续环节和整体系统的影响；

• 分析了每个要素及其子类别现有的挑战和发展方向，并从整体系统的角度进一步讨论了主要的挑战和未来趋势。  

下图 1 为端到端人脸识别系统的流程展示：

下图 2 介绍了各章节的主要内容，图中左侧部分主要是功能性的介绍，包括参考提供全面介绍和讨论的功能内容。右侧部分为技术性的内容，对三个要素分别进行了详细的分析。  

人脸检测

给定一幅输入图像，人脸检测的目标是找到图像中所有的人脸，并给出所有人脸的包围框的坐标和置信度得分。为了让读者更好的认识和理解人脸检测的发展，研究者从多个角度对人脸检测方法进行了分类，包括多阶段、单阶段、anchor-based、anchor-free、多任务学习、CPU 实时、面向问题等方法，具体分类可以参考下表 1。

表 1：深度人脸检测方法的类别

下图 3 给出了具有代表性的人脸检测方法的发展历程。

图 3：脸检测方法的发展历程

此外，研究者讨论了人脸检测方法对后续人脸对齐和表征环节的影响。不精确的检测框会导致人脸关键点定位性能下降，使用更鲁棒的人脸检测器能够进一步提升识别性能。相关实验结果如下图 4 所示。

图 4：人脸检测对后续要素的影响

人脸对齐

人脸对齐的目标是将检测到的人脸校准到一个规范的标准化视图，并裁剪为固定图像尺寸的图像，这是提高人脸识别性能的必要步骤。人脸对齐方法包括基于关键点对齐和不使用关键点的两种技术方案。其中，基于关键点的对齐方法是目前最常用的方案，根据如何获取关键点可分为坐标点回归、热力图回归以及 3D 模型拟合三种方法。不使用关键点的人脸对齐方法通过可学习的方式直接生成对齐后的人脸图像，具体分类可以参考下表 2。

表 2：人脸对齐方法的类别

下图 5 给出了人脸对齐方法的发展历程。

图 5：人脸对齐方法的发展历程

同时，研究者进一步讨论了五种不同的对齐方法对人脸识别性能的影响。下图 6 中的实验结果表明恰当的对齐策略能够有利于提升人脸识别性能。

图 6：合适的对齐策略有利于提升人脸识别性能

人脸表征

人脸表征利用深度卷积神经网络模型从预处理后的人脸图像中提取具有身份判别力的特征，这些特征用于计算匹配人脸之间的相似度。我们从网络模型架构，训练监督，以及具体的识别任务三个方面对人脸表征分别进行介绍，方法的具体分类可参考下表 3。

表 3：人脸表征学习方法的类别

下图 7 是人脸表征训练监督方法的发展历程，包含了分类学习、特征嵌入、混合方法以及半监督学习四种方案。

图 7：人脸表征训练监督方法

下图 8 是三种有监督人脸表示学习方法与公开数据集规模的发布趋势，其中分类学习是目前主流研究和采用的方法。可以发现随着训练和测试的数据集规模不断增加，对大规模数据集进行闭集分类训练，可以近似模拟人脸识别的开集场景。这可能是近年来基于分类的训练方法得到广泛研究并占据主导地位的原因。 

图 8：三种监督人脸表示学习方法与公开数据集规模的发布趋势

讨论和总结

最后，研究者分析了端到端人脸识别系统各个组成要素现有的问题和未来趋势，同时还有三种要素共有的挑战，以及面向整个识别系统的角度讨论了现有挑战和发展方向，如下表 4 所示。

表 4：端到端深度人脸识别系统的主要挑战

特别鸣谢

感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·