Our goal is to populate digital environments, in which the digital humans have diverse body shapes, move perpetually, and have plausible body-scene contact. The core challenge is to generate realistic, controllable, and infinitely long motions for diverse 3D bodies. To this end, we propose generative motion primitives via body surface markers, shortened as GAMMA. In our solution, we decompose the long-term motion into a time sequence of motion primitives. We exploit body surface markers and conditional variational autoencoder to model each motion primitive, and generate long-term motion by implementing the generative model recursively. To control the motion to reach a goal, we apply a policy network to explore the model latent space, and use a tree-based search to preserve the motion quality during testing. Experiments show that our method can produce more realistic and controllable motion than state-of-the-art data-driven method. With conventional path-finding algorithms, the generated human bodies can realistically move long distances for a long period of time in the scene. Code will be released for research purposes at: \url{https://yz-cnsdqz.github.io/eigenmotion/GAMMA/}


翻译:我们的目标是传播数字环境,使数字人类有不同的体形,永久移动,并具有貌似体光接触。核心挑战是为不同的3D体产生现实、可控和无限长的运动。为此,我们提出通过身体表面标记进行基因化运动原始,缩短为GAMMA。在我们的解决方案中,我们将长期运动分解为运动原始体的时间序列。我们利用身体表面标记和有条件的变异自动编码来模拟每个运动原始体,通过反复执行基因模型产生长期运动。为了控制运动以达到一个目标,我们应用一个政策网络来探索模型潜在空间,并在试验期间使用基于树的搜索来保持运动质量。实验表明,我们的方法比状态数据驱动的方法可以产生更现实和可控的动作。我们利用传统的路径测算算法,产生的人体可以在现场长期内现实地长距离移动。为了研究目的,将代码发布在:\urgimus/Ambrgivus/amus/ambrz/ambrnsds.

0
下载
关闭预览

相关内容

Surface 是微软公司( Microsoft)旗下一系列使用 Windows 10(早期为 Windows 8.X)操作系统的电脑产品,目前有 Surface、Surface Pro 和 Surface Book 三个系列。 2012 年 6 月 18 日,初代 Surface Pro/RT 由时任微软 CEO 史蒂夫·鲍尔默发布于在洛杉矶举行的记者会,2012 年 10 月 26 日上市销售。
【干货书】机器学习速查手册,135页pdf
专知会员服务
125+阅读 · 2020年11月20日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
151+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年2月21日
Arxiv
0+阅读 · 2022年2月17日
Arxiv
0+阅读 · 2022年2月17日
Arxiv
12+阅读 · 2021年6月21日
Using Scene Graph Context to Improve Image Generation
Video-to-Video Synthesis
Arxiv
9+阅读 · 2018年8月20日
VIP会员
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
CVPR2019 | Stereo R-CNN 3D 目标检测
极市平台
27+阅读 · 2019年3月10日
TCN v2 + 3Dconv 运动信息
CreateAMind
4+阅读 · 2019年1月8日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Top
微信扫码咨询专知VIP会员