Motion retargeting from human demonstration to robot is an effective way to reduce the professional requirements and workload of robot programming, but faces the challenges resulting from the differences between human and robot. Traditional optimization-based methods is time-consuming and rely heavily on good initialization, while recent studies using feedforward neural networks suffer from poor generalization to unseen motions. Moreover, they neglect the topological information in human skeletons and robot structures. In this paper, we propose a novel neural latent optimization approach to address these problems. Latent optimization utilizes a decoder to establish a mapping between the latent space and the robot motion space. Afterward, the retargeting results that satisfy robot constraints can be obtained by searching for the optimal latent vector. Alongside with latent optimization, neural initialization exploits an encoder to provide a better initialization for faster and better convergence of optimization. Both the human skeleton and the robot structure are modeled as graphs to make better use of topological information. We perform experiments on retargeting Chinese sign language, which involves two arms and two hands, with additional requirements on the relative relationships among joints. Experiments include retargeting various human demonstrations to YuMi, NAO and Pepper in the simulation environment and to YuMi in the real-world environment. Both efficiency and accuracy of the proposed method are verified.


翻译:从人类演示到机器人的重新定位是减少机器人编程的专业要求和工作量的有效方法,但面临人类和机器人之间差异造成的挑战。传统的优化方法耗时耗时,严重依赖良好的初始化。传统的优化方法需要大量依靠良好的初始化,而最近使用饲料前神经网络的研究则缺乏一般化和无形运动。此外,它们忽视了人类骨骼和机器人结构中的表面学信息。在本文件中,我们提议一种新型神经潜伏优化方法来解决这些问题。延迟优化利用一个解码器来建立潜空与机器人运动空间之间的绘图。随后,通过寻找最佳潜载体来达到机器人限制的重新定位结果可以实现。除了潜在的优化之外,神经初始化还利用一个编码器来提供更佳初始化,以便更快和更好地整合优化。人类骨架和机器人结构都以图表为模型,以便更好地使用表面学信息。我们进行了中国标志语言的重新定位实验,其中涉及两只手和两只手,同时对联合环境之间的相对关系提出了更多的要求。在模拟中,在模拟中,模拟了各种人类的模拟和模拟中,包括了真实世界演示中YOM的效率。

0
下载
关闭预览

相关内容

专知会员服务
28+阅读 · 2021年8月2日
专知会员服务
25+阅读 · 2021年4月2日
专知会员服务
76+阅读 · 2021年3月16日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
已删除
将门创投
5+阅读 · 2017年10月20日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
0+阅读 · 2021年11月1日
Neural Architecture Optimization
Arxiv
8+阅读 · 2018年9月5日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
25+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
无人机视觉挑战赛 | ICCV 2019 Workshop—VisDrone2019
PaperWeekly
7+阅读 · 2019年5月5日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
已删除
将门创投
5+阅读 · 2017年10月20日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Top
微信扫码咨询专知VIP会员