【优博微展2018】刘昊：基于深度神经网络的人脸关键点检测

刘昊：2018年清华大学优秀博士学位论文二等奖获得者

基于深度神经网络的人脸关键点检测

Deep Neural Networks for Facial Landmark Detection

作　　者：刘昊       

指导教师：周杰

培养院系：自动化系         

学       科：控制科学与工程

读博感言：学术研究永远在路上

研究背景/选题意义/研究价值

人脸关键点用于描述人脸面部形状轮廓的控制点和局部特征，因此，精准高效的人脸关键点检测技术是人脸分析的基础和前提。近年来，深度神经网络通过多层非线性结构学习高层语义特征表示，被成功应用于各类计算机视觉处理任务。基于深度模型的人脸关键点检测方法在约束条件下性能表现出色，但受头部姿态和不同表情差异以及遮挡等因素的影响，其性能在自然条件下仍不理想。

主要研究内容

对于图像人脸关键点检测，本文针对于图像人脸关键点不同部位的结构相关性，提出了一种深度共享和结构化网络的方法；对于视频人脸关键点检测，本文针对于视频人脸关键点在不同帧间的时序一致性，提出了一种双流深度网络的方法； 对于鲁棒人脸关键点检测，本文针对于人脸数据与姿态的空间相关性，提出了一种深度形状决策网络的方法。

结构化特征学习对人脸关键点的局部相关性建模表达

所提MDN方法在具有大姿态变化人脸数据上的检测效果

主要创新点

1. 提出了一种深度结构化特征学习方法，通过引入人脸各部位的结构相关性局部约束，增强了特征表示能力，进而提高了关键点检测的有效性；

2. 提出了一种基于深度双流网络的人脸关键点检测方法，通过融合视频数据中的空间表观特征和时序信息的连续性特征，设计了双信息流的深度学习框架，在视频人脸数据上效果提升显著；

3. 提出了基于强化学习框架的鲁棒人脸关键点检测算法，通过将人脸关键点检测建模为马尔科夫动态决策过程，获得了基于马尔科夫过程的收敛分布的有效策略，提升了对抗大姿态变化、剧烈表情和强遮挡方面的鲁棒性。

代表性学术发表

1. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Two-Stream Transformer Networks for Video-based Face Alignment. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.

2. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Learning Deep Sharable and Structural Detectors for Face Alignment. IEEE Transactions on Image Processing, 2017.

3. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Label-Sensitive Deep Metric Learning for Facial Age Estimation. IEEE Transactions on Information Forensics and Security, 2018.

4. Hao Liu, Jiwen Lu, Jianjiang Feng and Jie Zhou. Ordinal Deep Learning for Facial Age Estimation. IEEE Transactions on Circuits and Systems for Video Technology, 2018.

作者：刘昊

供图：刘昊

编辑：清华大学研究生院 周明坤  吴佳瑛  李文

转载须经作者同意授权