The Skinned Multi-Person Linear (SMPL) model can represent a human body by mapping pose and shape parameters to body meshes. This has been shown to facilitate inferring 3D human pose and shape from images via different learning models. However, not all pose and shape parameter values yield physically-plausible or even realistic body meshes. In other words, SMPL is under-constrained and may thus lead to invalid results when used to reconstruct humans from images, either by directly optimizing its parameters, or by learning a mapping from the image to these parameters. In this paper, we therefore learn a prior that restricts the SMPL parameters to values that produce realistic poses via adversarial training. We show that our learned prior covers the diversity of the real-data distribution, facilitates optimization for 3D reconstruction from 2D keypoints, and yields better pose estimates when used for regression from images. We found that the prior based on spherical distribution gets the best results. Furthermore, in all these tasks, it outperforms the state-of-the-art VAE-based approach to constraining the SMPL parameters.


翻译:皮肤多人线性模型( SMPL) 可以通过映射形状和形状参数来代表人体。 这已被证明有助于通过不同的学习模型从图像中推断 3D 人形和形状。 但是, 并非所有的外形和形状参数值都产生物理可塑性甚至是现实的体模。 换句话说, SMPL 受控制不足, 从而在用图像来重建人类时, 通过直接优化其参数, 或者通过从图像到这些参数的映射, 可能导致无效的结果。 因此, 在本文中, 我们学习了将 SMPL 参数限制在通过对抗性训练产生现实的外形的值上。 我们显示, 我们先前学到的外观覆盖了真实数据分布的多样性, 便利了从 2D 键点重建 3D 的优化, 在使用图像回归时产生更好的估计值 。 我们发现, 先前基于球体分布的预估测得出了最佳结果。 此外, 在所有这些任务中, 它超越了基于 状态的 VAE 方法来限制 SMPL 参数 。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2020年12月18日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
5+阅读 · 2020年6月16日
Adversarial Metric Attack for Person Re-identification
Arxiv
13+阅读 · 2019年1月26日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月29日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】用Tensorflow理解LSTM
机器学习研究会
36+阅读 · 2017年9月11日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
5+阅读 · 2020年6月16日
Adversarial Metric Attack for Person Re-identification
Arxiv
13+阅读 · 2019年1月26日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
8+阅读 · 2018年5月15日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月29日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
9+阅读 · 2018年1月4日
Top
微信扫码咨询专知VIP会员