小米IoT安全峰会-敖翔《解密人脸解锁》

2017 年 12 月 11 日 小米安全中心 MiSRC

敖翔，旷视科技高级产品总监。

◆ ◆ ◆

作为智能手机安全防护的领先技术之一，人脸解锁从问世以来就备受关注，同时人脸解锁在安全隐私保护、技术实现原理等方面也面临着大量争议。旷视科技高级产品总监敖翔来为大家解密人脸解锁背后的玄机。

敖翔介绍说，人脸是一种非常特殊的生物特征。我们看一看其他的生物，指纹、虹膜、指静脉纹，它们都有特点，就是你不太容易拿到别人的特征。但是，人脸这个特征很容易拿到，它是没有隐私性的。再看一下另外一些特征，巩膜是眼球中白色的部分，眼球红血丝的特征也是完全不一样的。还有视网膜的内容，我们看过一些高科技的科幻电影，它是扫很多东西，虹膜、巩膜、视网膜。这些特征越来越安全，也不容易拿到。人脸的特征就没有任何隐私可言，这是这个特征非常特殊的特点，给刷脸解锁带来了巨大的挑战。

人脸识别的特殊点是它不稳定的特征。我按任何的指纹设备，基本上是挺稳定的，只不过是按的位置不一样，但每次是比较稳定的。但是，人脸是摄像头拍摄的，就会出现年龄、光照、配饰、胡须、口罩、眼镜等等各种变化。这些变化对生物特征来说是非常不好的。要对这些不稳定特征进行验证是有难度的。现在做传统的生物识别，不一定要用深度学习。但是，识别人脸，因为要适应高度变化，基本上不能不进行深度学习。所以，它的最后一个特点是识别算法的颗粒性很差。

为什么我们要用带有这么多缺点的生物特征呢？因为它很简单，它很自然，有交互上的便利性。这是它的高度自然性决定的，需求驱动我们解决这个难题。

人脸识别不是新问题，几十年前就有人想做。真正到民用级别是什么时候呢？在2001年才做到在PC上检测。目前的人脸检测过程，通过窗口扫描每一块区域，通过算法判断它是不是脸。2005年是一个小进步，技术人员在便携设备上做到了实时检测。2012年，iPhone上已经可以用人脸摇一摇做游戏了。2016年，我们自己的FaceID主要是做刷脸验证身份的产品。在手机上实时地检测、跟踪、识别、活体判断。这个技术发展是比较慢的，2012年以后才开始快速增长，因为深度学习时代已经到来，令整个行业就像爆炸一样得到了快速发展。为什么今年才成为手机刷脸的元年？就是因为这一系列研究成果才刚刚能够让我们做到这点。

现在讲讲一次人脸解锁要做的事情。第一步，你需要去注册你的脸。解锁过程就是视频流一帧一帧地分析。人脸识别，什么最难做？是安防。比如，地铁装了一个摄像头，大家是不愿意看摄像头的。还有一个更难的场景，就是手机上刷脸支付、刷脸解锁。因为它对用户体验要求到极致，手机解锁的全过程要不超过0.1秒。0.3秒的意义就是你看得见锁屏的屏幕，而且对画面一帧一帧地分析是非常难的。

现在就要讲到识别主体的各个角度，光线、眼睛、嘴巴、固定姿势等等。因为你要判断这是不是一张适合用来解锁人脸的人脸。有可能手机在这儿摆着，但我眼睛没有看手机。你需要注意很多位置，眼睛是否注视，是睁开，还是闭上。这个过程叫属性判断，判断你的脸是不是适合解锁，这里还有很多精细的工作。我在这儿坐着，看电脑，你拿着我的手机，离我比较远，看起来我的眼睛是看着手机的，但其实这不是我想要的。这也是做产品时特别考虑的一点。哪怕是3D也要考虑这个问题。不能说iPhoneX是真3D设备就不考虑这个问题。

下一个关键，我找到脸了也符合解锁，有一个关键是判断这是真人还是假人，因为很有可能是拿一张照片来蒙混过关。这些都通过了，还要做的一件事情就是比脸。这是狭义上最传统的人脸识别。手机使用了2048个特征进行人脸比对，其实它不是眼睛比眼睛、嘴巴比嘴巴，它是抽象的特征，是一个多维向量，比较两个的距离，速度非常快。把特征抽取出来以后，我做一比一搜索也是非常快。

下面讲一下解锁的核心，就是活体检测。攻击iPhoneX的成功例子也有不少。活体攻击遇到了三个最主要的形态，一个是换脸，一个是屏幕翻拍，一个是面具。一种是有屏幕的，一种是没有屏幕的。有屏幕的攻击是最常见的，它很廉价，用软件就能很容易地P出你的脸，很容易造一个脸。现在业界有专门的软件，不是稀奇的事情。但是，它有一个弱点，就是如果是用手机拍出来的会存在蛛丝马迹。另外一种就是戴真的面具攻击，廉价的办法是用一张纸盖在脸上。

到底活体检测意味着什么呢？在指纹和虹膜时代，我们怎么面对这个事情？其实也是很有难度的。活体攻击其实是一种人类有意识的行为，机器看到的就是那个特征。这个攻击很像盲人摸象，你看到的只是它给你展现的完美的信息，要让传感器感受到真人和攻击的不同。

如下图，大家可以告诉我哪个是真脸，哪个是假脸。其实只有一张是真的，就是左边这张。因为右边两张是翻拍的屏幕，画面颜色会有变化，会有混淆。那一点点混淆，人可以感知到，但你说不出来是为什么，就是觉得有点不一样。假设我把第一张遮住，让你看后两张，我相信大家就懵了。

这一张更有挑战。第一张其实是假的，因为他的脸这儿有一个鼠标。

其实仔细去做，还是会有一些蛛丝马迹来帮助你判断这些问题。我们可以把各种攻击进行分类，我们叫做活体的“斑”特征。攻击者很不小心，露出一点边框，或者是摩尔纹。

我们再讲一下大家关心的话题——支付级的解锁。我们希望可以持续提高攻击成本，到很高的程度。比如需要花费2000～5000块钱的解锁，将它的成功率限制在5%。现在iPhoneX的攻击，你大概要花1000块钱才能构建出一个模型。在这个场景下，攻击形态能够收敛成一些已知的高价值形态，这也是我们希望做到的，而不是发散的。在2D时代，攻击者还是会精心地构造一些你想不到的画面。我见到一些特别有趣的攻击，在人头上画一个像佛光或者太阳的攻击，然后识别程序懵掉了，觉得它是真的，这就是未知形态。所以在3D时代，在支付级时代，我们希望它可以收敛到已知的形态。

双眼是大家比较熟悉的，能够识别3D的东西。iPhoneX用的是结构光，用的是物理测距的方式，获得景观的3D信息，这也是用硬件来辅助，不光只是用算法来猜测。

怎么提升安全性呢？主要是三个办法。一是3D活体判断，通过算法增强，判断是不是立体的人形。一张纸是不可能通过的，起码要做成一个立体的样子。二是材质识别，这是红外光特有的技术。判断面部反射的光，皮肤反射的光和纸张反射的光是不一样的。三是红外。iPhoneX有一个泛光红外灯，面光的红外反射结果是不容易伪造的。用这个画面去判断是构造的红外图象，还是红外光反射的图象。通过三重技术达到真正支付级的解锁。