Synthesizing 3D human avatars interacting realistically with a scene is an important problem with applications in AR/VR, video games and robotics. Towards this goal, we address the task of generating a virtual human -- hands and full body -- grasping everyday objects. Existing methods approach this problem by collecting a 3D dataset of humans interacting with objects and training on this data. However, 1) these methods do not generalize to different object positions and orientations, or to the presence of furniture in the scene, and 2) the diversity of their generated full-body poses is very limited. In this work, we address all the above challenges to generate realistic, diverse full-body grasps in everyday scenes without requiring any 3D full-body grasping data. Our key insight is to leverage the existence of both full-body pose and hand grasping priors, composing them using 3D geometrical constraints to obtain full-body grasps. We empirically validate that these constraints can generate a variety of feasible human grasps that are superior to baselines both quantitatively and qualitatively. See our webpage for more details: https://flex.cs.columbia.edu/.


翻译:合成和场景进行真实交互的三维人形角色是增强现实/虚拟现实、视频游戏和机器人技术中的重要问题。为了实现这一目标,我们解决了生成带有手和全身抓握日常物品的虚拟人形角色的任务。现有方法通过收集人类与物体交互的三维数据集来解决此问题。然而,这些方法存在以下问题:1) 这些方法不适用于不同的物品位置和方向,或场景中存在家具的情况;2) 生成的全身姿势的多样性非常有限。在本研究中,我们解决了上述所有挑战,实现了不需要任何三维全身抓握数据的日常场景中生成逼真、多样化的全身抓握。我们的关键见解是利用全身姿势和手部抓握先验的存在,使用三维几何约束将它们组合起来得到全身抓握。我们在实证验证中发现,这些约束能够生成多种可行的人体抓握,并且在数量和质量上都优于基准方法。有关更多详细信息,请参见我们的网页:https://flex.cs.columbia.edu/。

0
下载
关闭预览

相关内容

港科大陈启峰博士:AIGC的现状与展望
专知会员服务
75+阅读 · 2023年1月17日
【ETH、Stanford】基于博弈论的运动规划,Tutorial ICRA '21
专知会员服务
55+阅读 · 2022年3月7日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
【推荐】图像分类必读开创性论文汇总
机器学习研究会
14+阅读 · 2017年8月15日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
15+阅读 · 2022年1月24日
VIP会员
相关VIP内容
港科大陈启峰博士:AIGC的现状与展望
专知会员服务
75+阅读 · 2023年1月17日
【ETH、Stanford】基于博弈论的运动规划,Tutorial ICRA '21
专知会员服务
55+阅读 · 2022年3月7日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
28+阅读 · 2019年10月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员