Imitation learning from human demonstrations has become a dominant approach for training autonomous robot policies. However, collecting demonstration datasets is costly: it often requires access to robots and needs sustained effort in a tedious, long process. These factors limit the scale of data available for training policies. We aim to address this scalability challenge by involving a broader audience in a gamified data collection experience that is both accessible and motivating. Specifically, we develop a gamified remote teleoperation platform, RoboCade, to engage general users in collecting data that is beneficial for downstream policy training. To do this, we embed gamification strategies into the design of the system interface and data collection tasks. In the system interface, we include components such as visual feedback, sound effects, goal visualizations, progress bars, leaderboards, and badges. We additionally propose principles for constructing gamified tasks that have overlapping structure with useful downstream target tasks. We instantiate RoboCade on three manipulation tasks -- including spatial arrangement, scanning, and insertion. To illustrate the viability of gamified robot data collection, we collect a demonstration dataset through our platform, and show that co-training robot policies with this data can improve success rate on non-gamified target tasks (+16-56%). Further, we conduct a user study to validate that novice users find the gamified platform significantly more enjoyable than a standard non-gamified platform (+24%). These results highlight the promise of gamified data collection as a scalable, accessible, and engaging method for collecting demonstration data.


翻译:从人类演示中进行模仿学习已成为训练自主机器人策略的主流方法。然而,收集演示数据集的成本高昂:通常需要接触机器人,并需在枯燥冗长的过程中持续投入精力。这些因素限制了可用于训练策略的数据规模。我们旨在通过让更广泛的受众参与到一个既易于访问又具激励性的游戏化数据收集体验中,来解决这一可扩展性挑战。具体而言,我们开发了一个游戏化的远程遥操作平台RoboCade,以吸引普通用户收集对下游策略训练有益的数据。为此,我们将游戏化策略嵌入到系统界面和数据收集任务的设计中。在系统界面中,我们包含了视觉反馈、音效、目标可视化、进度条、排行榜和徽章等组件。此外,我们提出了构建游戏化任务的原则,这些任务与有用的下游目标任务具有重叠结构。我们在三个操作任务上实例化了RoboCade——包括空间排列、扫描和插入。为了说明游戏化机器人数据收集的可行性,我们通过该平台收集了一个演示数据集,并表明用这些数据协同训练机器人策略可以提高非游戏化目标任务的成功率(+16-56%)。此外,我们进行了一项用户研究,以验证新手用户认为游戏化平台比标准的非游戏化平台显著更具趣味性(+24%)。这些结果凸显了游戏化数据收集作为一种可扩展、易访问且引人入胜的演示数据收集方法的潜力。

0
下载
关闭预览

相关内容

预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
将Python用于NLP:Pattern 库简介
Python程序员
15+阅读 · 2019年6月7日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
相关资讯
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
将Python用于NLP:Pattern 库简介
Python程序员
15+阅读 · 2019年6月7日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员