Humanoid robots hold great promise for operating in human-centric environments, yet achieving robust whole-body coordination across the head, hands, and legs remains a major challenge. We present a system that combines a modular teleoperation interface with a scalable learning framework to address this problem. Our teleoperation design decomposes humanoid control into intuitive submodules, which include hand-eye coordination, grasp primitives, arm end-effector tracking, and locomotion. This modularity allows us to collect high-quality demonstrations efficiently. Building on this, we introduce Choice Policy, an imitation learning approach that generates multiple candidate actions and learns to score them. This architecture enables both fast inference and effective modeling of multimodal behaviors. We validate our approach on two real-world tasks: dishwasher loading and whole-body loco-manipulation for whiteboard wiping. Experiments show that Choice Policy significantly outperforms diffusion policies and standard behavior cloning. Furthermore, our results indicate that hand-eye coordination is critical for success in long-horizon tasks. Our work demonstrates a practical path toward scalable data collection and learning for coordinated humanoid manipulation in unstructured environments.


翻译:人形机器人在以人为中心的环境中展现出巨大应用潜力,然而实现头部、手部和腿部之间稳健的全身协调仍是一项重大挑战。本文提出一种结合模块化遥操作界面与可扩展学习框架的系统以解决该问题。我们的遥操作设计将人形机器人控制分解为直观的子模块,包括手眼协调、抓取基元、手臂末端执行器轨迹跟踪及移动控制。这种模块化设计使我们能够高效采集高质量演示数据。在此基础上,我们提出选择策略——一种通过生成多个候选动作并学习其评分机制的模仿学习方法。该架构既能实现快速推理,又能有效建模多模态行为。我们在两项实际任务中验证了本方法:洗碗机装载任务和用于白板擦拭的全身移动操作任务。实验表明,选择策略在性能上显著优于扩散策略和标准行为克隆方法。此外,研究结果证实手眼协调对于长时域任务的成功执行具有关键作用。本工作为在非结构化环境中实现可扩展数据采集与协调人形机器人操作学习提供了一条实用路径。

0
下载
关闭预览

相关内容

【NVDIA】Cosmos世界基础模型平台用于物理人工智能
专知会员服务
27+阅读 · 2025年1月13日
用于识别任务的视觉 Transformer 综述
专知会员服务
75+阅读 · 2023年2月25日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员