Google的ARCore深度API如何通过单个摄像头解决遮挡问题

2020 年 10 月 17 日 计算机视觉life

点击上方“计算机视觉life”，选择“星标”

快速获得最新干货

AIRX与国内外提供ARVR SDK服务的企业或实验室组织深度合作，AIRX平台上有最垂直的优质的ARVR、Unity、Unreal、AI开发者，共同推动ARVR开发者生态发展，具体合作请加vx：AIRX001 备注“开发者生态”

谷歌将增强现实技术提升到了一个全新的水平，它可以感知三维空间并提供最佳的增强现实体验，而无需使用深度感知相机等专用硬件。谷歌的ARCore深度API只需要一个摄像头就可以创建深度地图。

有了它，开发人员可以轻松地进行位置跟踪、表面检测。当你用一个摄像头移动你的手机时，Depth API会拍下你周围的多张照片，然后通过比较这些照片来估计每个像素之间的距离，从而创建一个你周围环境的三维结构，使得将真实世界中的物体投影到当前帧成为可能。

“深度API允许开发人员使用我们的动态深度算法通过一个RGB相机创建深度图。深度图是通过从不同角度拍摄多张图像并在移动手机时进行比较以估计到每个像素的距离来创建的。” 一个深度图基本上让你决定哪些对象接近你以这样的方式。下图说明了ARCore深度API背后的主要概念。在左侧，猫（数字对象）与沙发和地板（现实对象）重叠，这在实际场景中是不可能的。图像的右侧使用深度API来克服此问题，并给人一种在现实世界中实际拥有数字对象的感觉。

最新版本的主要特色包括:

它不需要任何特殊的硬件，比如摄像头和传感器，
它适用于支持ARCore的各种设备，
带有特殊摄像头和tof传感器的设备更有可能获得更好、更准确的结果，并带来更丰富的体验。

谷歌表示：“我们将开始在Scene Viewer中启用遮挡功能，该功能可为搜索中的AR提供支持，目前已经有超过2亿的支持ARCore的Android设备可以使用遮挡功能。” 遮挡只不过是数字世界对象定义精确空间并在现实对象周围融合的能力，即虚拟对象将出现在现实对象后面，无论真实对象是否更靠近相机。

Houzz（一家基于家庭装修和室内设计的公司）已使用Google的ARCore深度API来构建向其客户提供“在我的房间中查看3D视图”功能的应用。Houzz视觉技术负责人Sally Huang说：“使用ARCore Depth API，人们可以在要购买的产品上看到更逼真的预览，在房间中现有家具旁边就可以看到我们的3D模型。”

以下是Houzz应用程序的gif样本图片，客户可以在将其作为现实对象放置之前虚拟放置家具并对其进行可视化。在此，此人在他想要保留桌子的区域轻拍，然后移动相机以各种不同的角度对其进行可视化。我们看到桌子没有与ARCore深度API所附带的椅子重叠。

深度数据对于启用遮挡功能很强大。除此之外，3D深度数据还可以为科学领域提供更多帮助，例如表面交互，路径算法，逼真的物理等。对于游戏行业，深度API还提供了交互式游戏机制，可以帮助玩家躲在现实世界中。

参考：

https://www.augmentedstartups.com/blog/how-google-s-arcore-depth-api-tackles-occlusion-with-a-single-camera

从0到1学习SLAM，戳↓

视觉SLAM图文+视频+答疑+学习路线全规划！

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~