In this work, we propose a new head-tracking solution for human-machine real-time interaction with virtual 3D environments. This solution leverages RGBD data to compute virtual camera pose according to the movements of the user's head. The process starts with the extraction of a set of facial features from the images delivered by the sensor. Such features are matched against their respective counterparts in a reference image for the computation of the current head pose. Afterwards, a prediction approach is used to guess the most likely next head move (final pose). Pythagorean Hodograph interpolation is then adapted to determine the path and local frames taken between the two poses. The result is a smooth head trajectory that serves as an input to set the camera in virtual scenes according to the user's gaze. The resulting motion model has the advantage of being: continuous in time, it adapts to any frame rate of rendering; it is ergonomic, as it frees the user from wearing tracking markers; it is smooth and free from rendering jerks; and it is also torsion and curvature minimizing as it produces a path with minimum bending energy.


翻译:在这项工作中,我们为与虚拟 3D 环境的人体机器实时互动提出了一个新的跟踪路径解决方案。 这个解决方案利用 RGBD 数据来根据用户头部的移动来计算虚拟相机。 这一过程始于从传感器提供的图像中提取一组面部特征。 这些特征与相应的对应方匹配, 用于计算当前头部的图像的参考图像。 随后, 使用预测方法来猜测最有可能的下一个头部移动( 最后的姿势 ) 。 然后, 对 Pythagorean Hodlog 插图进行调试, 以确定在两种姿势之间拍摄的路径和本地框架。 结果是, 光滑头轨迹, 用于根据用户的视线在虚拟场上设置相机。 由此产生的运动模型的优势是: 持续时间, 它适应任何框架的显示速度; 它是电子工程学, 因为它使用户能够使用跟踪标记; 它是光滑的, 并且不产生混蛋; 并且它也是在以最低弯曲的能量生成路径时, 和曲形的最小化和曲形。

0
下载
关闭预览

相关内容

迁移学习简明教程,11页ppt
专知会员服务
104+阅读 · 2020年8月4日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
45+阅读 · 2020年7月4日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
已删除
将门创投
3+阅读 · 2017年10月27日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
3+阅读 · 2018年5月21日
Arxiv
5+阅读 · 2018年4月30日
Arxiv
6+阅读 · 2018年3月28日
Arxiv
7+阅读 · 2017年12月28日
VIP会员
相关VIP内容
迁移学习简明教程,11页ppt
专知会员服务
104+阅读 · 2020年8月4日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
45+阅读 · 2020年7月4日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
【跟踪Tracking】15篇论文+代码 | 中秋快乐~
专知
18+阅读 · 2018年9月24日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
STRCF for Visual Object Tracking
统计学习与视觉计算组
14+阅读 · 2018年5月29日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
已删除
将门创投
3+阅读 · 2017年10月27日
Top
微信扫码咨询专知VIP会员