We propose a novel sparse constrained formulation and from it derive a real-time optimization method for 3D human pose and shape estimation. Our optimization method is orders of magnitude faster (avg. 4 ms convergence) than existing optimization methods, while being mathematically equivalent to their dense unconstrained formulation. We achieve this by exploiting the underlying sparsity and constraints of our formulation to efficiently compute the Gauss-Newton direction. We show that this computation scales linearly with the number of joints of a complex 3D human model, in contrast to prior work where it scales cubically due to their dense unconstrained formulation. Based on our optimization method, we present a real-time motion capture framework that estimates 3D human poses and shapes from a single image at over 30 FPS. In benchmarks against state-of-the-art methods on multiple public datasets, our frame-work outperforms other optimization methods and achieves competitive accuracy against regression methods.


翻译:我们建议一种新颖的稀有限制配方,并从中得出一种用于3D人形和形状估计的实时优化方法。我们的优化方法比现有的优化方法更快数量级(avg.4ms 趋同),在数学上相当于其密集而不受限制的配方。我们通过利用我们配方的基本宽度和限制来有效地计算高斯-牛顿方向,实现这一点。我们用复杂的3D人模型的接合点数量来显示这种线性计算尺度,而以前的工作则由于这种3D型的配方密度高且不受限制而异。根据我们的优化方法,我们提出了一个实时动作捕捉取框架,根据30多个FPS的单一图像来估计3D人的容和形状。在参照多个公共数据集的最新方法时,我们的框架工作比其他优化方法要优于其他的精确度,并对照回归方法实现竞争性的精确性。

0
下载
关闭预览

相关内容

专知会员服务
31+阅读 · 2021年6月12日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
11+阅读 · 2019年1月16日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【泡泡一分钟】用于平面环境的线性RGBD-SLAM
泡泡机器人SLAM
6+阅读 · 2018年12月18日
【泡泡前沿追踪】跟踪SLAM前沿动态系列之IROS2018
泡泡机器人SLAM
29+阅读 · 2018年10月28日
IEEE2018|An Accurate and Real-time 3D Tracking System for Robots
DPOD: Dense 6D Pose Object Detector in RGB images
Arxiv
5+阅读 · 2019年2月28日
VIP会员
相关VIP内容
专知会员服务
31+阅读 · 2021年6月12日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
109+阅读 · 2020年5月15日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
相关资讯
Top
微信扫码咨询专知VIP会员