Most realtime human pose estimation approaches are based on detecting joint positions. Using the detected joint positions, the yaw and pitch of the limbs can be computed. However, the roll along the limb, which is critical for application such as sports analysis and computer animation, cannot be computed as this axis of rotation remains unobserved. In this paper we therefore introduce orientation keypoints, a novel approach for estimating the full position and rotation of skeletal joints, using only single-frame RGB images. Inspired by how motion-capture systems use a set of point markers to estimate full bone rotations, our method uses virtual markers to generate sufficient information to accurately infer rotations with simple post processing. The rotation predictions improve upon the best reported mean error for joint angles by 48% and achieves 93% accuracy across 15 bone rotations. The method also improves the current state-of-the-art results for joint positions by 14% as measured by MPJPE on the principle dataset, and generalizes well to in-the-wild datasets.


翻译:多数实时人体构成估计方法基于探测共同位置。 使用所检测到的联合位置, 可以计算四肢的值值和位置。 但是, 肢体的滚动对于运动分析和计算机动画等应用至关重要, 无法计算四肢的滚动, 因为这个旋转轴仍然未观察到。 因此, 在本文中, 我们引入了方向键点, 一种新颖的方法来估计骨关节的完整位置和旋转, 仅使用单框 RGB 图像 。 运动抓取系统如何使用一组点标记来估计完全骨轮用, 我们的方法利用虚拟标记来生成足够的信息, 用简单的员额处理准确推断旋转。 旋转预测在所报告的最佳平均误差的基础上提高了48%, 在15个骨轮转中达到93%的精度。 该方法还改进了MPJPE在原则数据集上测量的当前联合位置的状态结果, 14 %, 并概括了该功能数据集。

0
下载
关闭预览

相关内容

因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
【泡泡一分钟】RoomNet:端到端房屋布局估计
泡泡机器人SLAM
18+阅读 · 2018年12月4日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
计算机视觉领域顶会CVPR 2018 接受论文列表
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Arxiv
6+阅读 · 2021年11月12日
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
Joint Monocular 3D Vehicle Detection and Tracking
Arxiv
8+阅读 · 2018年12月2日
Arxiv
5+阅读 · 2018年4月13日
Arxiv
7+阅读 · 2017年12月26日
VIP会员
相关VIP内容
因果图,Causal Graphs,52页ppt
专知会员服务
246+阅读 · 2020年4月19日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
相关资讯
【泡泡一分钟】RoomNet:端到端房屋布局估计
泡泡机器人SLAM
18+阅读 · 2018年12月4日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
计算机视觉领域顶会CVPR 2018 接受论文列表
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Top
微信扫码咨询专知VIP会员