在为许多现实世界的问题指定奖励方面的困难导致人们越来越关注从人的反馈中学习奖励，比如演示。然而，通常有许多不同的奖励功能来解释人类的反馈，这让智能体不确定什么是真正的奖励功能。虽然大多数策略优化方法通过优化预期性能来处理这种不确定性，但许多应用需要规避风险行为。我们推导了一种新的策略梯度式鲁棒优化方法PG-BROIL，它优化了平衡预期性能和风险的软鲁棒目标。据我们所知，PG-BROIL是第一个对奖励假设分布鲁棒的策略优化算法，该假设可以扩展到连续的MDPs。结果表明，PG-BROIL可以产生一系列从风险中性到风险厌恶的行为，并通过对冲不确定性从模糊的演示中学习，而不是寻求唯一识别演示者的奖励功能时，表现优于最先进的模仿学习算法。
https://www.zhuanzhi.ai/paper/a367014851df7b705e67adc94da69694
成为VIP会员查看完整内容
Policy Gradient Bayesian Robust Optimization for Imitation Learning
相关内容
模仿学习是学习尝试模仿专家行为从而获取最佳性能的一系列任务。目前主流方法包括监督式模仿学习、随机混合迭代学习和数据聚合模拟学习等方法。模仿学习（Imitation Learning）背后的原理是是通过隐含地给学习器关于这个世界的先验信息，比如执行、学习人类行为。在模仿学习任务中，智能体（agent）为了学习到策略从而尽可能像人类专家那样执行一种行为，它会寻找一种最佳的方式来使用由该专家示范的训练集（输入-输出对）。当智能体学习人类行为时，虽然我们也需要使用模仿学习，但实时的行为模拟成本会非常高。与之相反，吴恩达提出的学徒学习（Apprenticeship learning）执行的是存粹的贪婪/利用（exploitative）策略，并使用强化学习方法遍历所有的（状态和行为）轨迹（trajectories）来学习近优化策略。它需要极难的计略（maneuvers），而且几乎不可能从未观察到的状态还原。模仿学习能够处理这些未探索到的状态，所以可为自动驾驶这样的许多任务提供更可靠的通用框架。
Arxiv
4+阅读 · 2018年8月17日
相关VIP内容
相关资讯
相关论文
Arxiv
4+阅读 · 2018年8月17日
微信扫码咨询专知VIP会员