模仿学习是学习尝试模仿专家行为从而获取最佳性能的一系列任务。目前主流方法包括监督式模仿学习、随机混合迭代学习和数据聚合模拟学习等方法。模仿学习(Imitation Learning)背后的原理是是通过隐含地给学习器关于这个世界的先验信息,比如执行、学习人类行为。在模仿学习任务中,智能体(agent)为了学习到策略从而尽可能像人类专家那样执行一种行为,它会寻找一种最佳的方式来使用由该专家示范的训练集(输入-输出对)。当智能体学习人类行为时,虽然我们也需要使用模仿学习,但实时的行为模拟成本会非常高。与之相反,吴恩达提出的学徒学习(Apprenticeship learning)执行的是存粹的贪婪/利用(exploitative)策略,并使用强化学习方法遍历所有的(状态和行为)轨迹(trajectories)来学习近优化策略。它需要极难的计略(maneuvers),而且几乎不可能从未观察到的状态还原。模仿学习能够处理这些未探索到的状态,所以可为自动驾驶这样的许多任务提供更可靠的通用框架。

VIP内容

【导读】Imitation Learning(模仿学习)机器学习新的研究热点之一,因其能很好的解决强化学习中的多步决策(sequential decision)问题,近段时间得到了广泛关注。那么模仿学习近期的前沿进展如何呢,来自加州理工大学的Yisong Yue在DAI'20 Workshop,做了名为《Towards Real-World Imitation Learning: Animation, Sports Analytics, Robotics, and More讲座。新鲜出炉的PPT,一起来看看吧。

简介:

随着时空跟踪和传感数据的不断增长,现在人们可以在大范围内分析和建模细粒度行为。例如,收集每一场NBA篮球比赛的跟踪数据,包括球员、裁判和以25hz频率跟踪的球,以及带注释的比赛事件,如传球、投篮和犯规。其他设置包括实验室动物、公共空间中的人、手术室等设置中的专业人员、演员的演讲和表演、虚拟环境中的数字化身、自然现象(如空气动力学),甚至其他计算系统的行为。

在这次演讲中,我将描述正在进行的研究,即开发结构化模仿学习方法来开发细粒度行为的预测模型。模仿学习是机器学习的一个分支,研究模仿动态演示行为。结构化模仿学习涉及到使用数学上严格的领域知识,这些知识可以(有时是可以证明的)加速学习,还可以提供附加的好处(如Lyapunov稳定性或策略行为的可解释性)。我将提供基本问题设置的高级概述,以及在动物建模、专业运动、语音动画等项目。

成为VIP会员查看完整内容
0
25
父主题
Top