We find that across a wide range of robot policy learning scenarios, treating supervised policy learning with an implicit model generally performs better, on average, than commonly used explicit models. We present extensive experiments on this finding, and we provide both intuitive insight and theoretical arguments distinguishing the properties of implicit models compared to their explicit counterparts, particularly with respect to approximating complex, potentially discontinuous and multi-valued (set-valued) functions. On robotic policy learning tasks we show that implicit behavioral cloning policies with energy-based models (EBM) often outperform common explicit (Mean Square Error, or Mixture Density) behavioral cloning policies, including on tasks with high-dimensional action spaces and visual image inputs. We find these policies provide competitive results or outperform state-of-the-art offline reinforcement learning methods on the challenging human-expert tasks from the D4RL benchmark suite, despite using no reward information. In the real world, robots with implicit policies can learn complex and remarkably subtle behaviors on contact-rich tasks from human demonstrations, including tasks with high combinatorial complexity and tasks requiring 1mm precision.


翻译:我们发现,在一系列广泛的机器人政策学习设想中,以隐含模型处理受监督的政策学习通常比通常使用的显性模型平均表现更好。我们介绍了关于这一发现的广泛实验,并且提供了直观的洞察力和理论论据,将隐含模型的特性与其直观的对应功能区分开来,特别是在近似复杂、潜在不连续和多价值(定值)的功能方面。关于机器人政策学习任务,我们表明,带有能源模型(EBM)的隐含行为性克隆政策往往优于常见的显性(中方错误,或混合密度)行为克隆政策,包括具有高维度行动空间和视觉图像投入的任务。我们发现,这些政策提供了竞争性的结果,或者超越了D4RL基准成套挑战性(定值)的人类专家任务的离线式强化方法,尽管没有奖赏信息。在现实世界,含隐含政策的机器人可以学习人类演示中接触丰富任务的复杂和微妙行为,包括具有高调复杂性和需要1毫米精确性的任务。

0
下载
关闭预览

相关内容

专知会员服务
21+阅读 · 2021年5月27日
【NeurIPS 2020】生成对抗性模仿学习的f-Divergence
专知会员服务
25+阅读 · 2020年10月9日
专知会员服务
52+阅读 · 2020年9月7日
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
论文笔记 | Modeling MOOC Student Behavior
科技创新与创业
5+阅读 · 2017年12月25日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Imitation by Predicting Observations
Arxiv
4+阅读 · 2021年7月8日
VIP会员
相关VIP内容
专知会员服务
21+阅读 · 2021年5月27日
【NeurIPS 2020】生成对抗性模仿学习的f-Divergence
专知会员服务
25+阅读 · 2020年10月9日
专知会员服务
52+阅读 · 2020年9月7日
商业数据分析,39页ppt
专知会员服务
159+阅读 · 2020年6月2日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【NIPS2018】接收论文列表
专知
5+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
论文笔记 | Modeling MOOC Student Behavior
科技创新与创业
5+阅读 · 2017年12月25日
【推荐】直接未来预测:增强学习监督学习
机器学习研究会
6+阅读 · 2017年11月24日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
Top
微信扫码咨询专知VIP会员