2024年面世！谷歌将发布首款AR头显，携裸眼3D「魔镜」布局元宇宙

---

  新智元报道  

编辑：桃子 拉燕

【新智元导读】进军元宇宙，谷歌也不甘落后。近日，谷歌被爆出其秘密研发的AR眼镜，代号Project Iris，预计2024年面世。

进军元宇宙，谷歌也不甘落后。

 

据两位知情人士透露，谷歌最近开始加紧研发AR眼镜，内部代号为Project Iris，希望在2024 年上市。

 

2024推出，代号Iris

预计2024年发布的这款AR眼镜将采用谷歌最新处理器，全自研的Tensor芯片，而且还支持在安卓系统上运行。

 

 

不过，未来应该会使用一个全新的操作系统。

 

前段时间谷歌的招聘信息显示，谷歌正在招聘招聘一支「AR操作系统」团队，专注于为「创新的AR设备」构建软件。

 

 

与苹果即将推出的头显一样，谷歌的AR设备使用外向摄像头将计算图形与现实世界融合，创造出比Snap和Magic Leap等现有AR眼镜更身临其境的混合现实体验。

 

由于电量的限制，谷歌会使用其数据中心去远程渲染一些图形，并通过互联网连接将它们传送到AR眼镜中。

 

 

知情人士表示，在这次眼镜研发过程中，Pixel团队也参与了硬件设计的一部分。

 

但具体未来会以 Pixel去命名AR眼镜还是未知的，因为Project Iris在谷歌内部是一个严格保密的项目。

「鸽了」10年的AR眼镜

 

Project Iris项目，可以说，是谷歌AR眼镜研发的一个转折点。

 

其实早在2012年，谷歌就发布了AR眼镜的原型机，类似于一副滑雪护目镜，而且不需要与外部电源连接。

 

随着一波硬件和软件的升级，2014年成功登陆美国市场，售价1500美元。然而，在2015年却因为各种负面新闻被迫下架。

 

 

2017年，谷歌决定将AR眼镜的应用转向工业。

 

同年，苹果发布了用于为手机构建AR体验的ARKit，这直接打了谷歌一个措手不及。

 

 

这场争夺战，以及谷歌随后搁置的许多虚拟现实项目，让它的AR和VR团队成员对其方向的转变感到士气低落。

 

尽管急于追赶，但谷歌在打造新形式的AR硬件方面似乎落后于同行。

 

此后，谷歌在AR眼镜的硬件研发上明显保持沉默，并且选择专注于研发Google Lens、视觉搜索引擎和谷歌地图中的AR方向相关的软件功能。

 

 

除了早期那款AR眼镜原型，谷歌对AR表现出的兴趣还可以追溯到对Magic Leap的早期投资。

 

2019年的一次采访中，Clay Bavor表示，「我将我们所处的阶段描述为深度研发，专注于在闭门造车的关键上」。

 

紧接着，一年后，谷歌收购了初创公司North，其第一副智能眼镜为Focals。

 

 

但是当前就不同了，因为「元宇宙」是当下不可回避也不能忽视的话题。

 

2021年，是元宇宙奇点爆发的元年。先是3月Robolox上市，开启了「元宇宙」第一股。后是10月，扎克伯格直接把Facebook名字都改成了Meta，全力奔向元宇宙。

 

 

紧接着，微软、英伟达、苹果、Unity等科技公司也纷纷在元宇宙领域进行布局。

 

现在看来，在去年元宇宙奇点第一年中，谷歌还没有在元宇宙布局上正式发声。

皮查伊密友带队研发

 

据透露，负责未来AR眼镜的核心研发团队大约有300人，谷歌计划再招聘数百人。

 

其中，这一项目leader是Clay Bavor，工作将向CEO皮查伊汇报。

 

2021谷歌I/O大会上曾公布了一个超高分辨率视频聊天室Project Starline项目，它便是由Clay Bavor负责的。

 

 

Bavor多年来一直负责谷歌内部与VR和AR相关的工作，他还是皮查伊的密友。

 

2021年11月，Bavor正式回归，被任命为谷歌实验室副总，负责包括Starline项目、Iris和谷歌内部产品孵化器Area 120。

 

从事Iris项目的其他一些成员包括：

 

Shahram Izadi：高级工程总监，同时负责谷歌的ARCore软件工具包

Eddie Chung：产品管理高级总监，曾负责Google Lens产品

Scott Huffman：谷歌智能助理的副总裁

Mark Lucovsky：谷歌AR操作系统高级总监

Kurt Akeley：工程师，也是光场相机初创公司Lytro的前首席技术官

 

此外，据报道，谷歌最近还在加拿大招聘与光波导相关的人才。

 

去年10月，皮查伊在财报电话会议上表示，谷歌正在考虑AR，它将成为我们的主要投资领域。

 

但目前尚不清楚谷歌是否计划像 Meta 那样大举投资，而Meta已经在这一领域投入百亿美元。

 

「元宇宙」双彩蛋：Starline

谷歌希望在2024年之前与Iris一起发布Starline。

这或许是谷歌在元宇宙中布局的两颗棋子。

 

用惯了skype或者zoom等传统视频聊天技术的人，第一次使用starline会感到大为震惊。

 

传统的视频通话技术无法克服感官上的距离感。和你聊天的ta以2D平面的形式展现在你面前。接收到的声音也明显是从使用的设备——手机、平板或是电脑中传出来。

 

必须承认这些技术手段给相隔两地的人们提供了“面对面”交流的机会。但是，有没有可能彻底消除这种距离感？谷歌认真思考了这个问题，并且成功了。

 

谷歌耗时五年，研发出这么一款黑科技——Starline3D视频通话技术。

 

 

不得不说，谷歌在这个项目上下了大手笔。Starline3D视频通华技术概括来说有两大特点。一个是真实，另一个是不需要佩戴任何设备。

 

一个65寸的光场显示屏，外加预先布置的十几个传感器和摄像头，就构成了这样一个聊天室。

 

 

这些摄像头和传感器的作用可不是拍下聊天者的外貌，显示在对方的显示屏上。每一个摄像头和传感器的作用，是通过不同角度捕捉人像，利用深度学习进行实时压缩，把这些数据传输到对面，在显示屏上重建成3D影响播放。

 

 

这意味着，这是对人像的「重建」。实时重建人物影像就可以让彼此的感受变得无与伦比的真实。好像和自己聊天的人真真切切地坐在自己对面一样。

 

采集到的数据的传输与普通的视频会议一样基于WebRTC，而谷歌独特的压缩算法使得双向实时传输3D影像成为可能。

 

另一大特点是不需要佩戴任何设备。传统的VR头显，智能眼镜完全不需要。甚至，根据谷歌发布的概念图，上述的摄像头和传感器都放在一张桌子内部。

 

稍加装饰，你甚至会以为这就是你的书桌，而和你聊天的人就坐在书桌对面。

 

 

根据谷歌给出的技术图，这一套设备包括：一个包含显示器、摄像头、扬声器、麦克风、照明器和计算机的显示单元，和包含红外背光并用作 bench seat 的背光单元。两个单元都包含向墙壁和天花板倾斜的白色 LED 灯条，用于产生柔和的反射照明。

 

而捕获子系统由三个同步立体的 RGBD 捕获 pod 组成：两个在显示器上方，一个在显示器下方的「中墙」（middle wall）中。

 

更下方的 pod 包括一个额外的彩色相机，用于放大拍摄对象的脸部。另外，四个单色追踪摄像头中的两个在显示器上方，其余两个一侧一个，用于捕捉眼睛、耳朵和嘴巴的高速广角图像。

 

 

渲染的方式如下图所示。

 

 

而pod就是上述提到的RGBD捕获装置。

 

这样渲染出的人物影响，更加逼真，栩栩如生。

 

最后不得不提一下Starline的声音系统。

 

 

这套系统使用了talker-tracked 波束成形、混响消减、WebRTC 传输、talker/listener-tracked 虚拟音频合成、双耳串扰消除分频组合以及振幅平移等技术。目的都是为了让声音听起来就像是和你面对面的人在说话。

 

值得一提的是，谷歌工程师表示，这套设备在标准办公网络环境下就可以运行。看来Starline技术被广泛推广应该不是不可能的事。虽然造价看起来十分昂贵，但是谷歌并未披露有关其价格的更多细节。

 

 

想象一下未来的某一天，每家每户都能拥有一套Starline通话设备，家人亲朋都可以随时随地面对面交流。你期待吗？

参考资料：

https://www.theverge.com/2022/1/20/22892152/google-project-iris-ar-headset-2024

https://www.theverge.com/2021/12/2/22813731/google-project-starline-specs-features-research-paper-8k-tv-microphones-camera-capture-pods