深度 | 手机AR，谷歌为何起了个大早却赶了个晚集？

2018 年 2 月 27 日 雷锋网 李诗

文 | 李诗

来自雷锋网（leiphone-sz）的报道

就在前几天，谷歌正式发布增强现实软件工具开发包ARCore 1.0，上亿安卓手机将拥有AR功能。在苹果ARKit推出半年之后，谷歌终于与苹果正面开战。

在手机AR上，相比苹果，谷歌似乎成了后来者。

而其实，ARCore的前身——谷歌Tango早已面世几年，谷歌才是智能手机AR的开创者。苹果抢先推出在大量设备上使用的ARKit，使得谷歌迫于压力停止Tango项目，转而推出ARCore。看起来像只是改了个名字，但是也意味着谷歌在Tango上的心血和希冀也大部分付诸东流。

雷锋网特意梳理了Tango项目的前因后果，加入多位业内人士观点，与您一起聊聊：谷歌砸重金的创新项目Tango为何行不通，以至于被苹果抢了先机？谷歌Tango项目还有哪些可能，能给我们哪些启示？

超前的Tango：定义下一代智能设备

谷歌原本是想定义下一代智能设备。

2014年2月，谷歌先进技术和项目团队（ATAP）发布名为”Project Tango“的新项目，以计算机视觉技术为智能手机添加运功追踪、3D感知功能。

项目负责人Johnny Lee表示：“我们的目标是让移动设备拥有和人类一样的空间和运动感知能力，以增强和创造新的用户体验。”“这个手机配置了一些能绘制完整3D的硬件和软件，它可以精确描绘关于周围环境的3D地图。其中的传感器速度可以快到实时更新周围的地理位置，并将这些数据迅速转换成3D模型。”

Tango有三大核心组件：

运动追踪（Motion Tracking）：通过移动设备自带的多种传感器，在不通过外界信号的情况下（例如GPS，WiFi，蓝牙Beacon等），实时获取设备的姿态与位置（6Dof）信息。这是Tango的核心功能，其技术实现方式是：tango使用视觉+惯性器件，实现了VIO（visual-inertial odometry）算法。
深度感应（Depth Perception）：利用自带的深度传感器扫描外界三维环境，生成点云，构筑三维模型。
环境学习（Area Learning）：可以被视作是motion tracking的增强，它可以将之前走过的路径记录下来，自动矫正环境构建与运动追踪中积累的误差，识别重复环境，减小误差。

Tango无疑在软件和硬件上都很有技术含量。

在凌感科技CTO马赓宇看来，“Tango之前，基于视觉的3D运动跟踪和场景建模还只是一个学术研究题目，可以做些demo，但是没有能实际应用的系统。谷歌投入了大量精力，为3D运动跟踪和场景建模专门设计了传感器和移动计算平台，把停留在纸面上的技术变成了能广泛应用的产品，使得移动AR成为可能。”

Tango并不是真正的产品，而是一个品牌名。Tango 是一个在规定的硬件标准下运行的软件程序，其规定了RGB、鱼眼镜头、深度相机、CPU/GPU规格等硬件参考设计，还涉及VIO（运动跟踪），稀疏映射（区域学习）和密集 3D 重建（深度感知）等软件。谷歌还与Movidius合作，为Tango打造了独特的视频处理芯片Myrid VPU，该芯片助力复杂的Tango算法能在手机上流畅运行。

谷歌没有把Tango的技术授权给任何第三方，想使用Tango只能去购买谷歌官方支持的几款硬件。

（The Yellowstone Tablet）

谷歌发布了几款硬件来主导Tango手机，第一款是2014年初的”花生“手机（The Peanut），第二款是”黄石“平板（The Yellowstone Tablet）。Tango平板售价起初为1000美金左右，而后降低至500美金，总共卖出1000台左右，主要面向开发者。

（联想Tango手机）

2016年6月，谷歌与高通合作开发消费级Tango手机，取消了Tango平板上有的视觉处理芯片，也取消了对深度相机的要求。同年，联想发布第一款搭载Tango的智能手机——联想Phab2 Pro，采用高通骁龙652芯片，售价400美金。随后，2017年，华硕与谷歌合作，推出了支持Tango的ZenFone手机。从2014年到2017三年的时间里，我们也仅看到几款支持Tango的手机，而这些手机设备也没有引起市场太大的关注。

Tango催生移动AR，却为何“卖不出去”

“看起来很酷，但是究竟要怎么用呢？“这是不少人对谷歌产品的感觉。

Tango究竟要用来做什么？虽然现在ARCore很明显就是AR开发平台工具，但是Tango一开始其实定位为3D感知手机，谷歌一直介绍Tango是一款——“知道自己在哪儿的手机”。基于运动追踪和空间感知功能，谷歌一开始希望用Tango来解决室内导航的问题，在室内无法使用GPS的时候，不依靠任何外部的设备，就能提供设备的定位。

Tango与AR/VR发生关联的重要信号在于：2016年11月，Tango项目从先进技术和项目团队（ATAP）转移到了Daydream部门。负责人Johnny Lee表示：Tango 团队将会和 Daydream 团队协调合作，两个团队的工作将会由谷歌 VR 部门的负责人 Clay Bavor 统一管理，并且 Clay 则会直接将工作汇报给谷歌CEO Sundar Pichai 。

2016年是VR的元年，HTC、Oculus、PSVR几大高端头显发布，Pokemon Go的火爆也让大家对AR充满期待。Tango技术开始越来越多地应用于AR。

2016年底，在谷歌与联想合作举办的Tango开发者大赛上，谷歌Tango项目的研发工程师郭旭曾说：Tango技术的一个最关键优势就是易于普及，“目前，如果要推广其他的VR/AR平台，开发者一般都需要花费几百美元或者上千美元去购置一套设备。但是Tango不同，它借助一个现有的智能手机平台，如果推广开来，可以很容易地达到一个非常高的市场占有率，而且像安卓一样是免费的。更重要的是，随着用户数和开发者数量的持续增长，Tango将对整个AR/VR行业产生一个积极的推动作用。”

在马赓宇看来，“Tango是第一个能实现AR功能的手持设备。它证明了手机AR可以达到以假乱真的效果。是一个具有跨时代意义的产品。很多用户和开发者，都是通过Tango第一次体验到了AR的神奇。”

然而，在2016年底，联想Phab2 Pro发布时，Google Play商店中有仅有为数不多的几款Tango设计的应用：AR虚拟家居摆设、AR游戏、AR博物馆等。Tango无疑是第一个能在智能手机上支持AR的平台，可惜，却没能早早地普及到大规模设备，也没有火爆的应用诞生。

Tango为什么卖不出去？

马赓宇分析到：“Tango手机的研发成本高。需要特殊的硬件。而且算法需要针对不同的CPU进行优化。同时由于Tango手机少，开发者开发AR内容的热情不高。导致用户没有购买意愿。又进一步降低厂商研发Tango手机的热情。”

硅谷投资人Matt Miesnieks分析到，三年来，仅有屈指可数的几款手机搭载了Tango，其原因可能是：谷歌公司不想为每家 OEM 都进行特定的传感器校准过程，且随着 Android 智能手机硬件商品化，相机和传感器堆栈是 Android 手机最后实现差异化的地方，所以 OEM 厂商无法满足谷歌的要求。谷歌认为，深度相机是手机的一部分，但是深度相机增加了手机成本，这也是 OEM 厂商拒绝 Google 的另一个原因。

苹果抢占先机

Tango发展缓慢，而苹果借助ARKit，抢先在所有iOS设备中上线了AR功能。AR真正变得进入大众用户，以大量的硬件设备持有来支持消费市场的内容开发。

2017年6月，苹果在WWDC上公布了自己迈入 AR 领域的第一步——针对 iOS 11 推出 ARKit，使得上亿设备瞬间拥有AR功能。开发者不需要任何别的工具，就可以轻松利用ARKit开发AR应用。苹果CEO库克认为AR是等同于智能手机一样重大的创新，会给人生活带来巨大的影响，而苹果ARKit将和App Store一样成功。ARKit一推出就备受关注，短短半年时间，App Store中就有超过三千款基于ARKit的AR应用。

2017年9月，谷歌发布ARCore，与苹果分庭抗礼，然而由于晚到一步，谷歌成为了苹果尴尬的追随者。

“12 个月前，Google 本就可以轻松交付能够在 Android 系统上运行的 Tango手机，但 Google 没有这样做。如果 Google 早早将 Tango 发货，那么 ARKit 的问世也只是紧跟趋势，而非重大突破。“Matt不由得感叹。

Matt指出，ARKit的基础技术是视觉惯性测量（VIO）系统、简单的2D平面检测。ARKit可以被看成轻便的SLAM系统，可以将3D虚拟物体放置在真实的平面中，使得虚拟物体在平面上运动，还可以追踪用户的相对运动。

ARKit核心的VIO系统和谷歌Tango没有区别，ARKit能实现的功能和Tango也几乎一样。但是，显然，苹果在软件和硬件的整合上，甩了谷歌几条街。Matt认为ARKit的优势在于苹果公司可以负担得起将 VIO 算法紧密耦合到手机传感器上，并花费很多时间来校准 VIO 系统，以减少计算空间位置时产生的误差。

赛格威机器人研发高级总监陈子冲分析到：“单目的VIO都需要每台手机有标定的流程。苹果的手机因为是标准化的，一共只有几个型号，所以他显然做得更容易一些。Google要在android生态中要推广普通相机使用VIO，那就要解决这个标定问题，可能是通过某种自适应方法，使得这个步骤可以免除。但是仍然，他需要一家一家去测试，毕竟每家手机的摄像头和IMU型号和位置都不一样。所以你看他是一批一批的支持Android手机。“

库克在接收英国独立报采访时，更为简洁地指明了ARKit的先发优势：“苹果公司自己打造手机制造软件和硬件，这使得它在AR和其他领域都处于独一无二的优势地位。谷歌也在对它的Pixel手机系列做同样的事情，并整合了良好的虚拟现实功能，但这些手机的销量并不大。”

谷歌的AR技术积累早于苹果，但是由于没有整合好软硬件，被ARKit抢占了先机。此时，谷歌显得十分尴尬，要么推出单目AR SDK，要么强推Tango让安卓手机硬件升级。

Tango推出三年，也仅获得几款手机支持，谷歌现在明显只剩下推出单目AR SDK这条路。2017年8月，谷歌在新品发布会上展示了ARCore开发者预览版，可以支持Samsung S8和 Pixel系列手机，正式与ARKit开战。ARCore被看作是轻量级的Tango，有业内人士认为，谷歌看起来只是注释掉了Tango深度相机部分，换了个名字。

前文介绍到，Tango有三大核心组件——运动追踪、深度感知、环境学习。由于减少了深度相机和一些传感器，ARCore保留了运动追踪和一部分的环境侦测功能，其深度感知，3D建模的能力则不如Tango，而这曾经是Tango最黑科技的一部分。

Tango项目停止，ARCore登场

2017年12月，谷歌停止Tango项目，全力支持ARCore。

谷歌发文解释到：“自 2014 年开始，我们一直在关注 AR 研发，并且推出 Project Tango。从 Tango 中我们积累了不少经验，将其应用于 ARCore 的研发中。遗憾的是，Tango 需要定制硬件，而 ARCore 是一个快速和高性能的，可广泛应用的 SDK 工具，能为数百万台符合要求的移动设备实现高质量的 AR 效果……由于我们将关注点从 AR 技术本身转移到整个以 ARCore 为主的安卓生态系统，所以我们决定将停止支持 Tango。”

也就是说，在长达三年的技术探索之后，谷歌Tango的软硬件参考设计行不通之后，谷歌要将ARCore开放给更多的安卓设备了。

而就在前几天，谷歌宣布正式发布ARCore 1.0，可运行于13种不同型号、超过一亿台的智能手机。这13款手机包括：谷歌Pixel，Pixel XL，Pixel 2，Pixel 2 XL；三星Galaxy S7，S7 Edge，S8，S8+，Note 8；LG V30，V30+；华硕 Zenfone ；One Plus 5。谷歌也正与包括华为、摩托罗拉、华硕、小米、HMD/诺基亚、中兴、索尼和 Vivo 在内的多家智能手机厂商展开合作，在他们将推出的产品中搭载 ARCore。

简化Tango，推出ARCore是谷歌不得已之举，这意味着承认Tango项目的失利，并且承认苹果ARKit抢占了先机，正确地引领了手机AR之路。

但是，谷歌或许也得感谢苹果打开了手机AR的市场，为Tango日后的发展奠定基础。虽然说，谷歌停止了Tango项目，放弃了以Tango为品牌打造智能设备的策略，但是并不等于谷歌会放弃继续发展Tango的核心技术，用于ARCore的升级，以及其他的创新产品。

马赓宇谈到：”苹果突然发布ARKit产品，性能与Tango相近，而且可以在普通手机上实现。使得还需要特别硬件的Tango方案失去了市场竞争力。Tango优于ARkit的一点是它还可以实现场景的3D建模。在一些低纹理区域可以工作的更好。而且在未来的AR应用中可以给用户更多的信息。传闻苹果也在考虑加装后摄的深度摄像头，未来的硬件可能跟tango类似。“

陈子冲认为：“从Tango到ARCore，谷歌全面转向了AR这个业务需求，致力于在所有的Android手机上提供给AR的SDK。在技术上是一个平移，在业务上是一个拓展（从原来少数几款手机推广到整个Android生态。国内相关的手机公司大概率会和谷歌合作，获得ARCore的支持。对于从事VR的公司也是利好，可以通过极少的技术投入，以很低的成本（android+摄像头）实现一个6轴的VR头盔。”

虽说现在苹果ARKit抢先几个月发布，但是这种领先估计也只能说先走了半步。ARKit 1.5 和ARCore 1.0都还是初代产品，不少开发者对雷锋网表示，无法用它们做出很惊艳的产品。而不少开发者心中理想的AR开发工具还需要具备：更强大的环境理解功能、实时3D重建、多人交互、语音识别等，才能达到真正的虚拟与现实融合。目前，我们确实还没有看到爆款的AR应用。

虽然苹果不升级硬件，抢先了半步，但是硬件升级或许是必然的。UCVR CEO胡金晖谈到：“谷歌停止Tango，推出简化版ARCore，策略上可能打算曲线救国。这些手机OEM厂商觉得Tango方案又贵，又要重新设计主板，不想采用，那就干脆先把软件技术集成到现有手机上，等大家适应了也用惯了AR手机，想要更高端的时候，只要在上面加个深度传感器就好了。”技术总是不断更新迭代的。

未来，Tango会复活吗？

从技术史来看，从没有一个凭空冒出来的创新技术，新技术一般是旧技术的组合创新。Tango也是一些技术组合而成，Tango项目的停止，并不会终结这些核心技术的可能性。

这一切，可以从微软Kinect说起。

2010年，微软为Xbox 360特意打造了Kinect。Kinect配有深度摄像头和语音识别麦克风的硬件，可以识别空间、人体动作，且支持语音控制，xBox立马变身体感游戏机，增添了很多创新的玩法。

微软Kinect是人机交互领域跨时代的作品，在此前，人机交互一直是以机器为中心的，人类学习机器的语言去和机器交流。微软Kinect首次让机器学会理解人类，理解人类世界。Kinect是微软为了填补人体和设备界面之间，超越键盘、鼠标、触控屏极限的一次伟大尝试。

在雷锋网此前文章《微软的Kinect停产了，但它为今天的VR/AR做了很多贡献》一文中曾写到：

自 2010 年来，苹果仿效 Kinect 语音控制功能，推出了 Siri 语音助手；谷歌也开始了 3D 追踪系统 Project Tango（该项目的领导者是曾经研发 Kinect 的 Johnny Lee）。视觉和语音系统几乎成了智能手机的标配，也逐渐进入我们的家居领域。亚马逊 Echo 将语音助手带进爷爷奶奶的卧室。新一版的 Echo Show 还在 Alexa 上加装了摄像头。

谷歌Tango项目起源于Kinect，命运也和Kinect相似。作为开创性的产品，Kinect的黑科技难以扩展应用场景，被市场接受。微软停止Kinect项目，但是并没有停止Kinect相关技术的研发。

商询科技CTO邬浩告诉雷锋网：“Kinect二代停产，也仅仅是用于xbox的Kinect硬件设备卖的不好，所以硬件不再生产了，但Kinect技术线是一直持续的。HoloLens自身属于Kinect四代技术，而Kinect五代技术一直在研发中，并且已经就要发布了，而这就是HoloLens二代。“

即便是硅谷消息最灵通的科技记者，也经常不知道几大科技巨头公司都有哪些部门，每个部门实际上在从事着什么样的研究。在雷锋网看来，Tango项目虽然停止了，但是其后续影响力肯定还将持续。

谷歌在Tango的技术积累可以帮助ARCore更新迭代，这自然不必再说，Tango还有其他更多的炫酷应用。

iPhone X人脸识别

（iPhone X原深度摄像头系统）

2017年10月，苹果发布了iPhone X，其最大的特色是增添了一个拥有数十颗传感器的”原深度摄像头“。这个摄像头可以实现人脸识别，使得人脸解锁代替指纹解锁，同时还可以实现人脸3D重建，方面AR贴纸功能。iPhone X的深度摄像头用到是和Kinect、Tango一样的结构光技术。

目前，3D机器视觉获取深度信息的办法主要有三种：结构光、TOF 时间光、双目立体成像。Kinect一代和Tango一代采用结构光的方法，2013年苹果收购了Kinect的开发商PrimeSense，Kinect二代和Tango二代都改为采用TOF感知深度信息。

荣耀V10发布会，华为宣布正在开发“占云深度摄像头”

去年11月，华为在荣耀V10发布会上，推出“点云深度摄像头”散班结构光手机配件，可以感知用户脸部的深度并对脸部建模。据雷锋网了解，华为不仅会做前置的深度摄像头，也会做后置摄像头。另有消息，小米和OPPO将在明年发布的智能新机中，使用3D感应的面部解锁方案。

虽然现在前置的原深度摄像头主要用于人脸识别，相信日后我们会看到更强大的可以理解环境、理解物体的深度摄像头。Tango首先让人们看到了搭载深度摄像头的智能手机的潜力，iPhone X的人脸识别让这个技术先一步普及，未来，深度摄像头将成为智能手机的标配。

工业机器人

2014年，谷歌Tango就曾被用在NASA的空间站机器人SPHERES上，帮助机器人执行通讯、拍照、和处理能力。在装上Tango之前，SPHERE可以做的事情仅仅是在空间站里飞来飞去，借助Tango的运动追踪、环境感知能力，这些机器人可以从事修理、运输、搜寻物品的工作。如果NASA采用定制的深度摄像头将会比Tango贵1000倍，真是节省了不少钱。

Tango的技术可以对机器人领域有所助益。在机器人领域，感知环节是进展缓慢且相对薄弱的环节。传感器和环境感知技术的进步，会使得机器产业有较大的跳跃。