模仿学习是学习尝试模仿专家行为从而获取最佳性能的一系列任务。目前主流方法包括监督式模仿学习、随机混合迭代学习和数据聚合模拟学习等方法。模仿学习(Imitation Learning)背后的原理是是通过隐含地给学习器关于这个世界的先验信息,比如执行、学习人类行为。在模仿学习任务中,智能体(agent)为了学习到策略从而尽可能像人类专家那样执行一种行为,它会寻找一种最佳的方式来使用由该专家示范的训练集(输入-输出对)。当智能体学习人类行为时,虽然我们也需要使用模仿学习,但实时的行为模拟成本会非常高。与之相反,吴恩达提出的学徒学习(Apprenticeship learning)执行的是存粹的贪婪/利用(exploitative)策略,并使用强化学习方法遍历所有的(状态和行为)轨迹(trajectories)来学习近优化策略。它需要极难的计略(maneuvers),而且几乎不可能从未观察到的状态还原。模仿学习能够处理这些未探索到的状态,所以可为自动驾驶这样的许多任务提供更可靠的通用框架。

VIP内容

模仿学习使智能体能够重用和适应他人来之不易的专业知识,为学习行为中的几个关键挑战提供了解决方案。虽然在现实世界中很容易观察行为,但可能无法访问底层操作。我们提出了一种新的方法,仅从观测中进行模仿,在具有挑战性的连续控制任务中达到与专家相当的性能,同时在与任务无关的观测存在时也表现出鲁棒性。我们的方法叫做FORM(“未来观察奖励模型”),它来自逆RL目标,并使用专家行为模型进行模拟,该模型是通过对专家观察的生成模型学习而来的,不需要地面的真实行动。我们的研究表明,在DeepMind Control Suite基准上,FORM的性能与强基线IRL方法(GAIL)相当,而在存在与任务无关的特征时,FORM的性能优于GAIL。

https://www.zhuanzhi.ai/paper/5f5ad56870b9585c4ecc0ee498604daa

成为VIP会员查看完整内容
0
10
父主题
Top