【ICML2021】基于观察的跨域模仿学习
模仿学习试图通过利用专家行为来规避为训练主体设计适当的奖励功能的困难。在以Markov Decision Processes (MDP)建模的环境中，大多数现有的模仿算法都取决于在同一MDP中是否有专家演示，而在该MDP中要学习新的模仿策略。在本文中，我们研究了当专家和代理MDP存在差异时如何模拟任务的问题。这些跨领域的差异可能包括不同的动力学、观点或形态;我们提出了一个新的框架来学习这些领域的响应。重要的是，与之前的工作相比，我们使用只包含专家领域状态的未配对和未对齐轨迹来学习这种对应关系。我们利用状态空间和领域未知的潜在空间上的循环一致性约束来做到这一点。此外，我们通过一个归一化的位置估计函数加强状态的时间位置的一致性，以对齐两个领域的轨迹。一旦找到了这种对应关系，我们就可以直接将一个领域的演示转移到另一个领域，并将其用于模仿。在许多具有挑战性的领域进行的实验证明了我们的方法的有效性。
https://www.zhuanzhi.ai/paper/6e5467bc6d82cc1e9e3236f5e44e08a4
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
后台回复“CDIO” 就可以获取《【ICML2021】基于观察的跨域模仿学习》专知下载链接
登录查看更多
相关内容
模仿学习是学习尝试模仿专家行为从而获取最佳性能的一系列任务。目前主流方法包括监督式模仿学习、随机混合迭代学习和数据聚合模拟学习等方法。模仿学习（Imitation Learning）背后的原理是是通过隐含地给学习器关于这个世界的先验信息，比如执行、学习人类行为。在模仿学习任务中，智能体（agent）为了学习到策略从而尽可能像人类专家那样执行一种行为，它会寻找一种最佳的方式来使用由该专家示范的训练集（输入-输出对）。当智能体学习人类行为时，虽然我们也需要使用模仿学习，但实时的行为模拟成本会非常高。与之相反，吴恩达提出的学徒学习（Apprenticeship learning）执行的是存粹的贪婪/利用（exploitative）策略，并使用强化学习方法遍历所有的（状态和行为）轨迹（trajectories）来学习近优化策略。它需要极难的计略（maneuvers），而且几乎不可能从未观察到的状态还原。模仿学习能够处理这些未探索到的状态，所以可为自动驾驶这样的许多任务提供更可靠的通用框架。
Arxiv
3+阅读 · 2019年6月11日
Arxiv
9+阅读 · 2018年4月22日
Arxiv
6+阅读 · 2018年3月30日
相关VIP内容
相关资讯
相关论文
Arxiv
3+阅读 · 2019年6月11日
Arxiv
9+阅读 · 2018年4月22日
Arxiv
6+阅读 · 2018年3月30日
微信扫码咨询专知VIP会员