【导读】Imitation Learning(模仿学习)机器学习新的研究热点之一,因其能很好的解决强化学习中的多步决策(sequential decision)问题,近段时间得到了广泛关注。那么模仿学习近期的前沿进展如何呢,来自加州理工大学的Yisong Yue在DAI'20 Workshop,做了名为《Towards Real-World Imitation Learning: Animation, Sports Analytics, Robotics, and More讲座。新鲜出炉的PPT,一起来看看吧。

简介:

随着时空跟踪和传感数据的不断增长,现在人们可以在大范围内分析和建模细粒度行为。例如,收集每一场NBA篮球比赛的跟踪数据,包括球员、裁判和以25hz频率跟踪的球,以及带注释的比赛事件,如传球、投篮和犯规。其他设置包括实验室动物、公共空间中的人、手术室等设置中的专业人员、演员的演讲和表演、虚拟环境中的数字化身、自然现象(如空气动力学),甚至其他计算系统的行为。

在这次演讲中,我将描述正在进行的研究,即开发结构化模仿学习方法来开发细粒度行为的预测模型。模仿学习是机器学习的一个分支,研究模仿动态演示行为。结构化模仿学习涉及到使用数学上严格的领域知识,这些知识可以(有时是可以证明的)加速学习,还可以提供附加的好处(如Lyapunov稳定性或策略行为的可解释性)。我将提供基本问题设置的高级概述,以及在动物建模、专业运动、语音动画等项目。

成为VIP会员查看完整内容
0
27

相关内容

模仿学习是学习尝试模仿专家行为从而获取最佳性能的一系列任务。目前主流方法包括监督式模仿学习、随机混合迭代学习和数据聚合模拟学习等方法。模仿学习(Imitation Learning)背后的原理是是通过隐含地给学习器关于这个世界的先验信息,比如执行、学习人类行为。在模仿学习任务中,智能体(agent)为了学习到策略从而尽可能像人类专家那样执行一种行为,它会寻找一种最佳的方式来使用由该专家示范的训练集(输入-输出对)。当智能体学习人类行为时,虽然我们也需要使用模仿学习,但实时的行为模拟成本会非常高。与之相反,吴恩达提出的学徒学习(Apprenticeship learning)执行的是存粹的贪婪/利用(exploitative)策略,并使用强化学习方法遍历所有的(状态和行为)轨迹(trajectories)来学习近优化策略。它需要极难的计略(maneuvers),而且几乎不可能从未观察到的状态还原。模仿学习能够处理这些未探索到的状态,所以可为自动驾驶这样的许多任务提供更可靠的通用框架。

实验设计几乎是所有研究学科的标志。在许多场景中,一个重要的挑战是如何在大型行动/设计空间中自动设计实验。此外,这种程序的适应性也很重要,即适应之前实验的结果。在这次演讲中,我将描述在自适应实验设计中使用数据驱动算法技术的最新进展,也被称为主动学习和机器学习社区中的贝叶斯优化。基于高斯过程(GP)框架,我将描述个性化临床治疗和纳米光子结构设计中的案例研究。在这些应用的驱动下,我将展示如何将现实世界的考虑因素,如安全、偏好启发和多逼真度实验设计纳入GP框架,并使用新的算法、理论保证和经验验证。如果时间允许,我还将简要概述一些其他案例研究。

视频: https://www.youtube.com/watch?v=yZOb8Y-pUCMa&feature=youtu.be

成为VIP会员查看完整内容
0
10

因果学习

因果推理在许多领域都很重要,包括科学、决策制定和公共政策。确定因果关系的金标准方法使用随机控制扰动实验。然而,在许多情况下,这样的实验是昂贵的、耗时的或不可能的。从观察数据中获得因果信息是可替代的一种选择,也就是说,从通过观察感兴趣系统获得的数据中获得而不使其受到干预。在这次演讲中,我将讨论从观察数据中进行因果学习的方法,特别关注因果结构学习和变量选择的结合,目的是估计因果效果。我们将用例子来说明这些概念。

成为VIP会员查看完整内容
0
81

传感器和移动设备的最新进展使城市轨道数据的可用性和收集量空前增加,从而增加了对更有效地管理和分析正在产生的数据的方法的需求。在本次综述中,我们全面回顾了轨迹数据管理的最新研究趋势,包括轨迹预处理、轨迹存储、常用的轨迹分析工具,如查询空间和空间文本的轨迹数据,以及轨迹聚类。我们还探讨了四种密切相关的分析任务,它们通常用于交互式或实时处理的轨迹数据。并首次回顾了深度轨迹学习。最后,我们概述了轨道管理系统应具备的基本质量,以最大限度地提高灵活性。

成为VIP会员查看完整内容
0
30

主题: Causal Confusion in Imitation Learning

简介: 行为克隆通过训练判别模型来预测观察到的专家行为,从而将策略学习转换为监督学习,这样的判别模型不是因果关系,因为训练过程并不了解专家与环境之间相互作用的因果结构。我们认为,由于模仿学习中的分布变化,忽略因果关系尤其有害。特别是,这会导致违反直觉的“因果识别错误”现象:访问更多信息可能会导致性能下降。我们调查了此问题的产生方式,并提出了一种解决方案,可通过有针对性的干预措施(环境互动或专家查询)来解决,以确定正确的因果模型。

嘉宾介绍: Dinesh Jayaraman,宾夕法尼亚大学的新任助理教授,还是Facebook AI Research的客座研究员,致力于视觉和机器人技术的交叉问题,在此之前,曾是加州大学伯克利分校伯克利人工智能研究实验室的博士后。

Pim de Haan,高通 AI的助理研究员,研究方向机器学习和数学几何的交叉。

成为VIP会员查看完整内容
0
12

报告主题: 模仿学习前沿进展

报告摘要: 时空跟踪和传感数据的不断发展,现在使得在广泛的领域中对细粒度的行为进行分析和建模成为可能。例如,现在正在收集每场NBA篮球比赛的跟踪数据,其中包括球员,裁判和以25 Hz跟踪的球,以及带有注释的比赛事件,如传球,射门和犯规。其他设置包括实验动物,公共场所的人员,设置诸如手术室,演员讲话和表演的演员,虚拟环境中的数字化身,自然现象(如空气动力学)以及其他计算系统的行为等专业人员。 在本演讲中,我将描述正在进行的研究,这些研究正在开发结构化模仿学习方法,以开发细粒度行为的预测模型。模仿学习是机器学习的一个分支,它处理模仿模仿的动态行为的学习。结构化模仿学习涉及施加严格的数学领域知识,这些知识可以(有时被证明)可以加速学习,并且还可以带来附带利益(例如Lyapunov稳定性或政策行为的可解释性)。我将提供基本问题设置的高级概述,以及对实验动物,专业运动,语音动画和昂贵的计算神谕进行建模的特定项目。

嘉宾介绍: Yisong Yue,博士,是加州理工学院计算与数学科学系的助理教授。他以前是迪斯尼研究院的研究科学家。在此之前,他是卡耐基梅隆大学机器学习系和iLab的博士后研究员。 Yisong的研究兴趣主要在于统计机器学习的理论和应用。他对开发用于交互式机器学习和结构化机器学习的新颖方法特别感兴趣。过去,他的研究已应用于信息检索,推荐系统,文本分类,从丰富的用户界面中学习,分析隐式人类反馈,临床治疗,辅导系统,数据驱动的动画,行为分析,运动分析,实验设计科学,优化学习,机器人技术政策学习以及自适应计划和分配问题。

成为VIP会员查看完整内容
0
24

编写机器人程序仍然是出了名的困难。让机器人具备学习的能力,就可以绕过那些通常需要耗费大量时间来完成特定任务的编程工作。这个演讲将描述最近在深度强化学习(机器人通过自己的尝试和错误学习)、学徒学习(机器人通过观察人学习)和元学习(机器人学习学习)方面的进展。这项工作使机器人在操作、移动和飞行方面有了新的能力,这些领域的进步都是基于相同的方法。

https://www.youtube.com/watch?v=WGza-jN4CZs

成为VIP会员查看完整内容
0
25
小贴士
相关论文
Julian Ibarz,Jie Tan,Chelsea Finn,Mrinal Kalakrishnan,Peter Pastor,Sergey Levine
0+阅读 · 2月4日
Matthew E. Taylor,Nicholas Nissen,Yuan Wang,Neda Navidi
0+阅读 · 2月2日
Recent advances in deep learning theory
Fengxiang He,Dacheng Tao
33+阅读 · 2020年12月20日
Transfer Learning in Deep Reinforcement Learning: A Survey
Zhuangdi Zhu,Kaixiang Lin,Jiayu Zhou
15+阅读 · 2020年9月16日
One-Shot Federated Learning
Neel Guha,Ameet Talwalkar,Virginia Smith
6+阅读 · 2019年3月5日
Multi-task Deep Reinforcement Learning with PopArt
Matteo Hessel,Hubert Soyer,Lasse Espeholt,Wojciech Czarnecki,Simon Schmitt,Hado van Hasselt
3+阅读 · 2018年9月12日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Fangkai Yang,Daoming Lyu,Bo Liu,Steven Gustafson
5+阅读 · 2018年4月20日
Wenhan Xiong,Thien Hoang,William Yang Wang
18+阅读 · 2018年1月8日
Andrew K. Lampinen,James L. McClelland
5+阅读 · 2017年10月27日
Top