一览端到端人脸识别最新进展,上大&京东AI研究院综述被ACM旗舰期刊接收

2022 年 1 月 13 日 机器之心
机器之心专栏
机器之心编辑部
人脸识别是计算机视觉(CV)领域中最热门和悠久的研究课题之一。本篇综述全面地回顾了端到端深度学习人脸识别系统的三个组成要素,包括人脸检测、人脸对齐和人脸表征。从最新的算法设计,评估指标,数据集,方法性能比较,现有的挑战和未来发展方向等方面展开介绍,同时讨论了不同要素对后续环节和整体识别系统的影响。通过该综述,作者期望读者能够认识到各个要素中值得进一步探索的方法,以及如何从头开始选择合适的方法来建立一套先进的端到端人脸识别系统。该综述已被 ACM 旗舰期刊 Computing Surveys(IF 10.282)接收。

端到端深度人脸识别系统由三个关键要素构成:人脸检测(face detection)、人脸对齐(face alignment)和人脸表征(face representation) 。其中,人脸检测的作用是定位静止图像或视频帧中的人脸位置。然后,人脸对齐将人脸校准到一个规范的视角,并将人脸图像裁剪到一个标准化像素大小。最后,在人脸表征阶段,从对齐后的图像中提取具有鉴别性的特征用于识别。

在实际应用中,端到端人脸识别系统的性能表现同时取决于上述三种组成要素,任何一个环节出现短板,都会对端到端系统的识别性能造成不良影响,成为人脸识别系统的瓶颈。为了建立一套先进的端到端人脸识别系统,因此有必要理解每个要素对系统整体的影响,以及各个要素之间的内在联系。


论文地址:https://arxiv.org/pdf/2009.13290.pdf

因此,来自上海大学、京东 AI 研究院和瑞尔森大学的研究者联合撰写的这篇综述具有以下几项主要贡献:

  • 系统地调研并回顾了端到端深度人脸识别三个组成要素的最近进展;

  • 从多个方面介绍了这三个组成要素: 算法设计、评估指标、数据集和性能比较。并且指出了各个要素对其后续环节和整体系统的影响;

  • 分析了每个要素及其子类别现有的挑战和发展方向,并从整体系统的角度进一步讨论了主要的挑战和未来趋势。  


下图 1 为端到端人脸识别系统的流程展示:


下图 2 介绍了各章节的主要内容,图中左侧部分主要是功能性的介绍,包括参考提供全面介绍和讨论的功能内容。右侧部分为技术性的内容,对三个要素分别进行了详细的分析。  


人脸检测

给定一幅输入图像,人脸检测的目标是找到图像中所有的人脸,并给出所有人脸的包围框的坐标和置信度得分。为了让读者更好的认识和理解人脸检测的发展,研究者从多个角度对人脸检测方法进行了分类,包括多阶段、单阶段、anchor-based、anchor-free、多任务学习、CPU 实时、面向问题等方法,具体分类可以参考下表 1。

表 1:深度人脸检测方法的类别

下图 3 给出了具有代表性的人脸检测方法的发展历程。

图 3:脸检测方法的发展历程

此外,研究者讨论了人脸检测方法对后续人脸对齐和表征环节的影响。不精确的检测框会导致人脸关键点定位性能下降,使用更鲁棒的人脸检测器能够进一步提升识别性能。相关实验结果如下图 4 所示。

图 4:人脸检测对后续要素的影响

人脸对齐

人脸对齐的目标是将检测到的人脸校准到一个规范的标准化视图,并裁剪为固定图像尺寸的图像,这是提高人脸识别性能的必要步骤。人脸对齐方法包括基于关键点对齐和不使用关键点的两种技术方案。其中,基于关键点的对齐方法是目前最常用的方案,根据如何获取关键点可分为坐标点回归、热力图回归以及 3D 模型拟合三种方法。不使用关键点的人脸对齐方法通过可学习的方式直接生成对齐后的人脸图像,具体分类可以参考下表 2。

表 2:人脸对齐方法的类别

下图 5 给出了人脸对齐方法的发展历程。

图 5:人脸对齐方法的发展历程

同时,研究者进一步讨论了五种不同的对齐方法对人脸识别性能的影响。下图 6 中的实验结果表明恰当的对齐策略能够有利于提升人脸识别性能。

图 6:合适的对齐策略有利于提升人脸识别性能

人脸表征

人脸表征利用深度卷积神经网络模型从预处理后的人脸图像中提取具有身份判别力的特征,这些特征用于计算匹配人脸之间的相似度。我们从网络模型架构,训练监督,以及具体的识别任务三个方面对人脸表征分别进行介绍,方法的具体分类可参考下表 3。

表 3:人脸表征学习方法的类别

下图 7 是人脸表征训练监督方法的发展历程,包含了分类学习、特征嵌入、混合方法以及半监督学习四种方案。

图 7:人脸表征训练监督方法

下图 8 是三种有监督人脸表示学习方法与公开数据集规模的发布趋势,其中分类学习是目前主流研究和采用的方法。可以发现随着训练和测试的数据集规模不断增加,对大规模数据集进行闭集分类训练,可以近似模拟人脸识别的开集场景。这可能是近年来基于分类的训练方法得到广泛研究并占据主导地位的原因。 

图 8:三种监督人脸表示学习方法与公开数据集规模的发布趋势

讨论和总结

最后,研究者分析了端到端人脸识别系统各个组成要素现有的问题和未来趋势,同时还有三种要素共有的挑战,以及面向整个识别系统的角度讨论了现有挑战和发展方向,如下表 4 所示。

表 4:端到端深度人脸识别系统的主要挑战


© THE END 

转载请联系本公众号获得授权

投稿或寻求报道:content@jiqizhixin.com

登录查看更多
0

相关内容

人脸识别,特指利用分析比较人脸视觉特征信息进行身份鉴别的计算机技术。广义的人脸识别实际包括构建人脸识别系统的一系列相关技术,包括人脸图像采集、人脸定位、人脸识别预处理、身份确认以及身份查找等;而狭义的人脸识别特指通过人脸进行身份确认或者身份查找的技术或系统。人脸识别是一项热门的计算机技术研究领域,它属于生物特征识别技术,是对生物体(一般特指人)本身的生物特征来区分生物体个体。生物特征识别技术所研究的生物特征包括脸、指纹、手掌纹、虹膜、视网膜、声音(语音)、体形、个人习惯(例如敲击键盘的力度和频率、签字)等...
专知会员服务
55+阅读 · 2021年3月5日
专知会员服务
65+阅读 · 2020年12月24日
【TMM2020】多媒体智能:当多媒体遇到人工智能
专知会员服务
21+阅读 · 2020年11月8日
专知会员服务
79+阅读 · 2020年10月2日
最新《深度学习人脸识别》综述论文,
专知会员服务
67+阅读 · 2020年8月10日
3D目标检测进展综述
专知会员服务
191+阅读 · 2020年4月24日
专知会员服务
160+阅读 · 2020年4月21日
人脸识别 | 你的论文离CVPR , 还有多远?
夕小瑶的卖萌屋
0+阅读 · 2021年9月8日
从 ICLR 2019 一览小样本学习最新进展!
AI科技评论
15+阅读 · 2019年6月9日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
论文 | 深度学习实现目标跟踪
七月在线实验室
48+阅读 · 2017年12月8日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
A Survey on Deep Hashing Methods
Arxiv
1+阅读 · 2022年4月19日
Challenges for Open-domain Targeted Sentiment Analysis
Arxiv
25+阅读 · 2022年1月3日
Arxiv
22+阅读 · 2021年12月19日
Optimization for deep learning: theory and algorithms
Arxiv
104+阅读 · 2019年12月19日
VIP会员
相关VIP内容
专知会员服务
55+阅读 · 2021年3月5日
专知会员服务
65+阅读 · 2020年12月24日
【TMM2020】多媒体智能:当多媒体遇到人工智能
专知会员服务
21+阅读 · 2020年11月8日
专知会员服务
79+阅读 · 2020年10月2日
最新《深度学习人脸识别》综述论文,
专知会员服务
67+阅读 · 2020年8月10日
3D目标检测进展综述
专知会员服务
191+阅读 · 2020年4月24日
专知会员服务
160+阅读 · 2020年4月21日
相关资讯
人脸识别 | 你的论文离CVPR , 还有多远?
夕小瑶的卖萌屋
0+阅读 · 2021年9月8日
从 ICLR 2019 一览小样本学习最新进展!
AI科技评论
15+阅读 · 2019年6月9日
AI综述专栏 | 步态识别的深度学习综述
人工智能前沿讲习班
29+阅读 · 2018年6月27日
论文 | 深度学习实现目标跟踪
七月在线实验室
48+阅读 · 2017年12月8日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员