TPAMI 2019 | 鲁棒RGB-D人脸识别

会员服务 ·

TPAMI 2019 | 鲁棒RGB-D人脸识别

2019 年 6 月 8 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得第一手干货

本文来自USTC计算几何实验室。是由中科大和卡迪夫大学联合发表在TPAMI 2019的论文: Robust RGB-D Face Recognition Using Attribute-Aware Loss

【背景与问题】

（图1. 攻击者B换上被盗用者A的人脸）

（图2. 使用苹果手机的Face ID进行手机解锁和交易支付）

基于图像的二维人脸识别系统已经用于人们的日常生活中，比如门禁系统，手机解锁和刷脸支付等等，然而，最近出现的一些换脸技术（如图1）引发了公众对于人脸识别安全性的担忧。由于三维人脸模型不同于二维人脸图片受姿态，光照和遮挡的影响，三维信息辅助的人脸识别可以极大地提高人脸识别精度与鲁棒性，在近期受到了业界的广泛关注。例如，越来越多的智能手机加入了前置三维人脸识别功能，比如苹果的Face ID（图2），可以直接用于手机支付应用场景。

【解决方案】

（图3. 在人脸识别中引入属性信息改善人脸特征学习过程）

本文为基于卷积神经网络的人脸识别提出了一种属性感知损失函数。该函数可以根据额外的属性信息（比如年龄，性别和民族）来调整人脸特征向量在高维空间中的分布（可见图3）。更具体地，利用属性之间的差异来线性逼近人脸特征向量之间的差异，使得具有相似属性的人脸图像对应的人脸识别特征也是相似的，从而改善人脸特征映射的学习过程。

（图4. 数据集中一些RGB-D人脸样本）

而且我们还构造了一个超大规模的 RGB-D 人脸数据集。该数据集包含超过130万张具有11万个不同身份的人脸彩色图像，其中每张彩色图像对应着一张人脸深度图（可见图4）和属性信息（年龄，性别和民族）。大多数人都是以正面姿态和中性表情面对深度相机进行拍摄的，并且每个人是在不同的时间段和光照条件下被记录的。

（图5. 本文方法的流程图）

最后我们联合使用Softmax损失函数和属性感知损失函数在这些经过预处理的RGB-D数据上训练人脸识别模型，具体流程可见图5。并在公开的测试集和私有的测试集上验证本文方法的有效性。

【实验结果】

（图6. 展示了私有测试集中五位男性和五位女性的人脸特征向量的分布。（a）是使用人脸彩色图像数据训练得到的人脸特征；（b）是使用人脸彩色图像数据和属性数据得到的人脸特征）

（表1. 在私有测试集上的首位命中率（％））

（表2. 在公开测试集上的首位命中率（％））

在人脸识别中引入属性的作用，可见图6。在私有测试集上的测试结果可见表1，Training-Set-I和Training-Set-II是我们从百万规模的RGB-D人脸数据集中抽取的出来的两个训练子集，它们都包含了88万张左右具有6万个不同身份的人脸彩色（深度）图像。与 Training-Set-I不同是，Training-Set-II 有着不均衡年龄结构和性别比例。在公开测试集上与其他方法的对比结果，可见表2。

【技术贡献】

本文为基于卷积神经网络的人脸识别方法提出了一种属性感知的损失函数，并且构造了一个百万规模的RGB-D人脸数据集。通过联合使用Softmax损失函数和属性感知损失函数，我们可以在该数据集上训练出具有很高性能的人脸识别模型。实验表明，本文方法既优于只使用 RGB 数据的人脸识别方法，也要优于不考虑其他属性的RGB-D人脸识别方法。

【论文发表】

该项研究工作已被人工智能与机器学习领域顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI) 收录。《IEEE Transactions on Pattern Analysis and Machine Intelligence》是人工智能、模式识别、图像处理、计算机视觉领域的顶尖国际期刊之一，2018-2019年度影响因子为9.455，属于JCR TOP期刊，是计算机科学与人工智能领域的5个一区刊物之一，堪称人工智能领域的“名人堂”。该杂志覆盖所有计算机视觉、图像理解、模式分析与识别等传统领域，以及部分机器智能领域，尤其强调模式分析的机器学习的前沿成果。

【论文原文】

Luo Jiang, Juyong Zhang, Bailin Deng. Robust RGB-D Face Recognition Using Attribute-Aware Loss. Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019.

【论文主页】

http://staff.ustc.edu.cn/~juyong/publications.html

学术交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、算法竞赛、图像检测分割、人脸人体、医学影像、综合等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~