iPhone X才能玩到的自拍功能，背后原来是这些技术在支撑

2017 年 12 月 6 日 雷锋网 刘芳平

文 | 刘芳平

来自雷锋网（leiphone-sz）的报道

12 月 3 日，苹果大中华区董事总经理葛越在乌镇世界互联网大会上发表演讲，再次推介了苹果努力打造的 AR 体验，并以天天 P 图为例介绍了 AR 的好玩之处。“腾讯打造的这款天天P图的 APP 正是结合了这一系列的软硬技术让大家都能体验到川剧变脸的乐趣。”她说。

今年 9 月，iPhone X 惊艳登场，除了震撼的全面屏，同样引人注目还有 FaceID 和 AR 功能，苹果在现场演示了人脸解锁，还有好玩的 Animoji。

实际上，天天 P 图早在发布会前就有了和苹果的合作，当时，天天 P 图团队成员受邀远赴美国苹果总部，历经 3 周紧张研发，双方在发布会前合作开发了川剧变脸的体验，利用苹果提供的接口，将 iPhoneX 新特性与 P 图产品特色相结合，实现了惊艳有趣的效果，并在苹果发布会体验区现场吸引了大批国内外媒体体验。

天天 P 图由此成为国内首家实现 3D AR 自拍功能的应用。

那么，为什么苹果和腾讯都力推 3D AR 呢，它到底有什么优势？这种出色的 AR 体验又是如何打造出来的呢？

天天 P 图在微信朋友圈推的炫酷广告

3D AR 自拍到底有什么不同？

要说 P 图美颜，早在 iPhone X 之前就有众多 App 在玩相关的功能了，所以，与 iPhone X 结合的所谓 3D AR 到底给自拍带来了什么呢？

先来看一下官方的介绍，iPhone X 版的天天 P 图主要有以下功能特色：

3D 人脸检测精准：识别点增加的原因，相较于现在版本最好是正脸面对镜头才能识别，如今的 X 版本校对更加精准，侧脸、偏头或是在光线不佳的情况下，都能准确识别到人脸的轮廓。
微表情识别：由于识别点的增加，相较于当前版本在拍摄时因为一些微表情小动作（眨眼，张嘴，点头）从而导致拍摄特效消失，在 X 版本里面，得到了改善，不仅可以识别到这些微表情的变化，产生的特效也不会突然失效，而是会相应呈现效果。
光照渲染：相较于当前版本，X 版本拍摄出来的照片和视频会更加立体。加强景深效果，光照情况更加贴合实际拍摄。

技术上的术语不太容易让人感知，实际体现出来是什么效果呢？雷锋网在此前的文章中就有描述。

上面的视频中，在 iPhone X 的屏幕上可以看到，用户的脸戴上了虚拟的脸谱。和普通自拍的萌宠 AR 效果简单地把一些元素添加到用户头像上不同，iPhone X 上脸谱和人脸实现了立体的融合，而且贴合很好，追踪也相当迅速，以至于用户眨眼的瞬间脸谱都可以实时地进行反应，见视频中第 2 秒开始处。

除此之外，镜头晃动和突然的遮挡对于对于追踪的影响非常小，用户用手一挥，脸谱换了一张，但仍然移稳稳地停留在用户脸上，没有错位，这是目前手机上 AR 自拍效果所根本不能比的。

3D AR 自拍是怎么实现的？

前文提到，天天 P 图的 3D AR 自拍功能是和苹果 iPhone X 合作实现的，因而这里分两块来讲述。

苹果方面，AR 自拍的核心在于 iPhone X 的“刘海”部分，在这个被很多人诟病的小“刘海”上，苹果塞进了 8 颗传感器，除了麦克风、扬声器、前置摄像头、环境光传感器、距离感应器等我们熟知的部分，还集成了红外镜头、泛光感应元件、点阵投影器。

苹果将整个系统称之为原深感摄像头系统（TrueDepth Camera System），而整个系统除了能用于 Face ID 人脸验证，也可以扩展自拍功能，实现动画表情发布，和 AR 效果叠加。

具体而言，上述的感应器会投射人眼看不见的光，并读取用户的脸部 3D 几何结构图，而这一切都是实时发生的。苹果甚至为此开发了一个神经引擎（Neural Engine），可即时处理人脸识别数据。苹果高级副总裁 Phil Schiller 在发布会上解释称，“我们用神经网络处理图像和点阵模式，来建立人脸数学模型。”

天天 P 图这边，团队向雷锋网介绍，他们在开发过程中用到了 iPhone X 独有的 ARKit Face Tracking（脸部追踪）相关接口。

ARKit 里仅对人脸部分进行 3D 建模，实现类似脸谱的功能会比较方便。另外 SDK 提供了表情追踪的接口，可以用来实现表情序列或者驱动其它 3D 模型。

有了 3D 人脸信息，我们甚至可以给脸部直接虚拟打光，添加眼镜帽子等动态道具，都是非常好玩的体验，而且不止前置摄像头，我们后置摄像头这里也有丰富的玩法，欢迎大家去下载天天P图打开自拍相机体验。

团队还对雷锋网表示，目前 ARKit 人脸 3D 只能用在 iPhone X 上。未来应该会扩展到其它硬件，但需要前置摄像头带深度信息。天天 P 图目前只支持单人识别，这里有待 Apple API 扩展。

不过，天天 P 图除了支持 ARKit 的人脸 3D，还接入了腾讯优图 3D 人脸识别，对除了 iPhone X 以外的机型也能进行人脸 3D 模型渲染。

对于其它想利用苹果接口打造 AR 体验的开发者，团队建议将 ARKit 和 sceneKit 结合起来会比较容易实现一些。

小结

AR 被认为是科技发展的下一个大潮流，不仅被苹果看好，Google、微软、Facebook 等巨头也都在押注。例如，苹果 ARKit 推出不久后，Google 就推出了 ARCore，微软也一直在推自家的 MR 平台，包括 HoloLens 眼镜。

但巨头的 AR 宏图伟业，实则和广大开发者的成功是息息相关的，如果没有优秀的开发者推出广受欢迎的 AR 应用，那么 AR 的未来也就不存在了。

这样的爆款应用，天天 P 图可以算一个，在推出 iPhone X 版后，这款应用受到 APP Store 官方广告推荐，为 iPhone X 适配应用。