感受洪荒之力！深度传感器搭配机器学习，这个AR应用能制造闪电，还能与现实交互

来源：大数据文摘

  本文约2326字，建议阅读5分钟
本文介绍了和现实世界产生互动的Let's All Be Wizards!的应用。

年轻人，你渴望力量吗？

就是那种能在指尖召唤闪电，随手一扔就能造成大量伤害的力量。

现在，你只需要 动动你的手指，就能在指尖形成一股能量，这股能量也能和现实世界产生互动，这个闪电还会消散形成细小的电流，在物体边缘上下流动，留下粉色的光芒。

就像这样：

这款名叫Let's All Be Wizards!的应用已经上线了App Store，售价2.99美元。不过由于需要利用到LiDAR，因此目前也只有iPhone 12 Pro和iPhone 13 Pro用户能够得到这股力量。

没想到吧，如此神奇的力量竟然也隐藏在你的手机中。

相关视频在Reddit和LinkedIn上都引起了十分热烈的讨论和围观，比如有网友就赞叹到，“和房间的联动也太厉害了吧”。

还有人表示，“这肯定是一个很棒的NFT”。

接下来就一起来看看这股力量的源泉吧~

深度传感器+机器学习，LiDAR也是关键之一

首先，除了一台支持LiDAR的苹果手机外，还需要准备到Unity 2020.3LTS和ARFoundation。

既然力量要从手中展现，那就必然要对手部进行捕捉，这就需要60FPS手部检测（60 FPS hand detection）

以及3D骨骼世界检测（3D Bones world detection）。

也正是基于此，LiDAR就显得尤为必要，因为位置允许手上的准确照明（次表面散射）或边缘检测（用于最后返回的火花）以真正将原生世界和虚拟世界融合在一起。如果没有实时深度估计，这些功能都不可能实现。

空间网格上的照明也是通过 5个渲染器通道 来实现的：

• 每个像素（屏幕空间）的法线和距离  
• 背景相机和手部遮挡
• 手部次表面散射照明 
• 光晕和游戏空间fx（实际上，每个能量球一次通过）
• 透明和不透明对象

正如项目作者Olivier Goguel总结的那样，“ 由于深度传感器和基于视觉的机器学习 ，我们可以实时创建手及其周围环境的数字版本，以生成虚拟和真实物体无缝交互的3D环境”。

该项目也已经在 GitHub上开源 了，详细过程大家也可以自行前往查看：

项目链接：

https://github.com/ogoguel/realtimehand

混合现实和物体识别打破游戏和数据的束缚

翻开Olivier Goguel的LinkedIn主页，被这满满的履历“闪瞎了眼”。

作为一名电子游戏爱好者，Goguel先后在Argonaut、Lagardere Active、Mimesis Republic、Namco、Microsoft和Asobo Studio等大型电子游戏公司工作了超过25年。也正是这些经历，让他有机会将一些技术和思维应用于许多娱乐项目上，其中就包括AR/VR体验。

目前他在HoloForge Interactive担任CTO一职。

在HoloForge Interactive的官网上，他们就表示，他们要在个人、地点和数据融合的体验中，打破束缚，充分发挥其潜力。

比如在2016年，他们就与Microsoft合作，开发了通过混合现实和物体识别进行体验的游戏Young Conker。

在游戏中，场景都将直接在房间里构建，比如敌人会出现在咖啡桌周围，你的沙发里可能藏着要收集的物品，你需要蹦床去看电视等等。关卡也会随着环境而适应并随之变化。

在这个项目中，开发者们需要攻克以下几点难关：

• 环境识别 ：游戏检测环境的拓扑结构，然后找出其组成部分。系统需要检测房间中的地板、墙壁和天花板以及各种不同类型的家具，并与游戏中的角色创造独特的互动。
• 交互 ：玩家可以用目光移动主角，无需操纵杆即可实时精确控制游戏操作。
• Room Solver AI ：游戏使用空间映射工具，并采用人工智能自动生成关卡和角色定位。 
• 与角色真正联结 ：由于游戏知道玩家的位置和正在寻找的位置，因此每个角色都可以以不同且令人惊讶的方式对玩家的存在做出反应。

Local Lenses如何改变对城市的观看方式

说到AR，文摘菌印象最深刻的还要属前年Snapchat推出的一个户外AR项目 Local Lenses 。

这个AR项目与专注于地图的竞争对手不同，Snap计划让用户使用数字内容来改变社区的外观，用户可以“用彩色油漆装饰附近的建筑物”，效果将对朋友可见。

从官方安利视频上看，Snapchat的这个AR简直是手残党福音了，你能随意对城市进行填涂，操作起来也很简单，只需要在Snapchat上调用摄像头，City Painter就能让你在街道上方喷洒红色和蓝色的“喷泉”，然后用预先设计的涂鸦对墙面砖块进行装饰。

看着爽快，开发Local Lens的过程可没有那么简单，首先就在于 重要公共地标的3D数据太少，其次还需要选择一个用户无需担心交通问题的街道 。

 

同时，虽然用户平时不会在每个角度上都对街道照留念，但空间的绝对大小对于开发者来说也是一个不小的难题。在这个意义上，附属于Local Lens的City Painter独辟蹊径，用3D绘制了整个卡纳比街，方便用户 从任意角度进行绘制 ，这也改变了人们对城市的观看方法。

 

Snapchat从多个来源提取出了街道的视觉数据，包括 用户共享的公开照片 。“对于Local Lens反射出的景象，我们利用 360度的相机图像 ，”Pan表示，“人们走在街上就能绘制地图，还可以把它与我们可能拥有的、任何关于该地区的公共新闻照片结合起来”。

City Painter还支持 经验共享 。正如Pan所说，“当你对外部环境做某事时，其他人几乎可以同步看到结果。就算后来你离开了，第二天出现了新的参观者，这些变化也将会持续存在，也就是说，这些新人能看到自己和他人所改变的空间”。

如今随着元宇宙概念逐渐被理解和研究，相信未来会有更多有趣的VR和AR项目被开发出来吧！

—— END ——