Omnidirectional lighting provides the foundation for achieving spatially-variant photorealistic 3D rendering, a desirable property for mobile augmented reality applications. However, in practice, estimating omnidirectional lighting can be challenging due to limitations such as partial panoramas of the rendering positions, and the inherent environment lighting and mobile user dynamics. A new opportunity arises recently with the advancements in mobile 3D vision, including built-in high-accuracy depth sensors and deep learning-powered algorithms, which provide the means to better sense and understand the physical surroundings. Centering the key idea of 3D vision, in this work, we design an edge-assisted framework called Xihe to provide mobile AR applications the ability to obtain accurate omnidirectional lighting estimation in real time. Specifically, we develop a novel sampling technique that efficiently compresses the raw point cloud input generated at the mobile device. This technique is derived based on our empirical analysis of a recent 3D indoor dataset and plays a key role in our 3D vision-based lighting estimator pipeline design. To achieve the real-time goal, we develop a tailored GPU pipeline for on-device point cloud processing and use an encoding technique that reduces network transmitted bytes. Finally, we present an adaptive triggering strategy that allows Xihe to skip unnecessary lighting estimations and a practical way to provide temporal coherent rendering integration with the mobile AR ecosystem. We evaluate both the lighting estimation accuracy and time of Xihe using a reference mobile application developed with Xihe's APIs. Our results show that Xihe takes as fast as 20.67ms per lighting estimation and achieves 9.4% better estimation accuracy than a state-of-the-art neural network.


翻译:上向光照明为实现空间变化的光现实3D转换提供了基础,这是移动放大现实应用的可取属性。然而,在实践中,估算全向照明可能具有挑战性,因为存在一些限制,如投影位置部分全景,以及固有的环境照明和移动用户动态等。随着移动3D愿景的进步,最近出现了一个新的机会,包括内置高精密深度感应器和深学习动力算法,这为更好地了解和理解物理环境提供了手段。在3D愿景的关键理念中,在这项工作中,我们设计了一个称为Xihe的边缘辅助准确度框架,以提供移动AR应用程序在实时获得准确的全向光估计的能力。具体地说,我们开发了一个新的取样技术,高效地压缩了移动设备产生的原始点云量输入。这一技术基于我们对最近3D室内数据集的经验分析,并在我们基于视觉的照明管道设计中发挥着关键作用。为了实现实时目标,我们开发了一个名为Shihe的准确度估算结果,我们用一个定制的GPULL网络来提供一个更精确的快速的电路路路路路路段,我们用一个更精确的电路路路路路路路路路路,以显示一个更精确的升级的电路透技术来显示。我们用一个更精确的电路路路路路路段,用来进行升级的电路路段,通过升级的电路路段,通过升级的电路路段的电路段,以显示的电路路路路路段,以显示一个更精确的电路路路路段路路路路路路路段,以显示一个更好的路路路路段,以显示一个升级的电路段。

0
下载
关闭预览

相关内容

[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
CCF推荐 | 国际会议信息10条
Call4Papers
8+阅读 · 2019年5月27日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
计算机类 | ISCC 2019等国际会议信息9条
Call4Papers
5+阅读 · 2018年12月25日
计算机类 | LICS 2019等国际会议信息7条
Call4Papers
3+阅读 · 2018年12月17日
计算机类 | SIGMETRICS 2019等国际会议信息7条
Call4Papers
9+阅读 · 2018年10月23日
计算机 | CCF推荐会议信息10条
Call4Papers
5+阅读 · 2018年10月18日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
【今日新增】IEEE Trans.专刊截稿信息8条
Call4Papers
7+阅读 · 2017年6月29日
Review: deep learning on 3D point clouds
Arxiv
5+阅读 · 2020年1月17日
VIP会员
相关VIP内容
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关资讯
CCF推荐 | 国际会议信息10条
Call4Papers
8+阅读 · 2019年5月27日
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
计算机类 | ISCC 2019等国际会议信息9条
Call4Papers
5+阅读 · 2018年12月25日
计算机类 | LICS 2019等国际会议信息7条
Call4Papers
3+阅读 · 2018年12月17日
计算机类 | SIGMETRICS 2019等国际会议信息7条
Call4Papers
9+阅读 · 2018年10月23日
计算机 | CCF推荐会议信息10条
Call4Papers
5+阅读 · 2018年10月18日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
【今日新增】IEEE Trans.专刊截稿信息8条
Call4Papers
7+阅读 · 2017年6月29日
Top
微信扫码咨询专知VIP会员