The computational capabilities of recent mobile devices enable the processing of natural features for Augmented Reality (AR), but the scalability is still limited by the devices' computation power and available resources. In this paper, we propose EdgeXAR, a mobile AR framework that utilizes the advantages of edge computing through task offloading to support flexible camera-based AR interaction. We propose a hybrid tracking system for mobile devices that provides lightweight tracking with 6 Degrees of Freedom and hides the offloading latency from users' perception. A practical, reliable and unreliable communication mechanism is used to achieve fast response and consistency of crucial information. We also propose a multi-object image retrieval pipeline that executes fast and accurate image recognition tasks on the cloud and edge servers. Extensive experiments are carried out to evaluate the performance of EdgeXAR by building mobile AR Apps upon it. Regarding the Quality of Experience (QoE), the mobile AR Apps powered by EdgeXAR framework run on average at the speed of 30 frames per second with precise tracking of only 1~2 pixel errors and accurate image recognition of at least 97% accuracy. As compared to Vuforia, one of the leading commercial AR frameworks, EdgeXAR transmits 87% less data while providing a stable 30 FPS performance and reducing the offloading latency by 50 to 70% depending on the transmission medium. Our work facilitates the large-scale deployment of AR as the next generation of ubiquitous interfaces.


翻译:最近移动设备的计算能力使得能够处理增强现实(AR)的自然特性,但可缩放性仍受该装置的计算力和可用资源的限制。在本文中,我们提议EdgeXAR,这是一个移动AR框架,它利用通过任务卸载进行边缘计算的好处,以支持灵活的基于相机的AR互动。我们提议一个移动设备的混合跟踪系统,提供6度自由的轻量跟踪,并隐藏从用户感知中卸载的延缓力。使用一个实用、可靠和不可靠的通信机制,以实现关键信息的快速反应和一致性。我们还提议建立一个多点界面图像检索管道,在云和边缘服务器上执行快速和准确的图像识别任务。我们进行了广泛的实验,通过建立移动的AR Apps 来评估 EdgeAR 的性能。关于经验的质量(QoE),由EdgeXAR框架驱动的移动AR Appsapts,平均以30度每秒30度的速度运行,精确跟踪1~2平方位错误和准确的图像识别,在至少50度的云和边缘服务器上进行快速和精确的图像识别。 将AARs的50度的高级图像定位数据传送,同时提供稳定的VPS-hal-xx 的运行的运行的运行的运行,以10级的运行的运行的运行的运行的运行的运行的运行的运行的运行的运行的运行的频率为10xxx级,以低度,以低度,以10级的运行的运行的运行的运行的运行的运行的运行为速度,以10号的运行度为10号。

0
下载
关闭预览

相关内容

增强现实(Augmented Reality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
专知会员服务
50+阅读 · 2020年10月21日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
25+阅读 · 2020年10月15日
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
Call for Participation: Shared Tasks in NLPCC 2019
中国计算机学会
5+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
推荐|Andrew Ng计算机视觉教程总结
全球人工智能
3+阅读 · 2017年11月23日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
Arxiv
8+阅读 · 2020年10月9日
Arxiv
8+阅读 · 2018年1月30日
VIP会员
相关VIP内容
专知会员服务
50+阅读 · 2020年10月21日
【NeurIPS 2020】融入BERT到并行序列模型
专知会员服务
25+阅读 · 2020年10月15日
Top
微信扫码咨询专知VIP会员