简介:

模仿学习研究如何从专家的决策数据中进行学习,以得到接近专家的决策模型。同样学习如何决策的强化学习往往只根据环境的滞后反馈进行学习。与之相比,模仿学习能从决策数据中获得更为直接的反馈。它可以分为行为克隆、基于逆向强化学习的模仿学习两类方法。基于逆向强化学习的模仿学习把模仿学习的过程分解成逆向强化学习和强化学习两个子过程,并反复迭代。逆向强化学习用于推导符合专家决策数据的奖赏函数,而强化学习基于该奖赏函数学习策略。基于生成对抗网络的模仿学习方法从基于逆向强化学习的模仿学习发展而来,其中最早出现且最具代表性的是生成对抗模仿学习方法(Generative Adversarial Imitation Learning,简称GAIL)。生成对抗网络由两个相对抗的神经网络构成,分别为判别器和生成器。GAIL的特点是用生成对抗网络框架求解模仿学习问题,其中,判别器的训练过程可类比奖赏函数的学习过程,生成器的训练过程可类比策略的学习过程。与传统模仿学习方法相比,GAIL具有更好的鲁棒性、表征能力和计算效率。因此,它能够处理复杂的大规模问题,并可拓展到实际应用中。然而,GAIL存在着模态崩塌、环境交互样本利用效率低等问题。最近,新的研究工作利用生成对抗网络技术和强化学习技术等分别对这些问题进行改进,并在观察机制、多智能体系统等方面对GAIL进行了拓展。本文综述了这些有代表性的工作,并探讨这类算法未来的发展趋势,最后进行了总结。

作者简介:

郝建业博士,现任天津大学智能与计算学部-软件学院副教授,博士生导师。香港中文大学(CUHK)计算机科学与工程专业博士,麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)博士后研究员。

郝建业教授主持参与国家基金委、科技部、工信委、天津市重大等科研项目10余项, 与国际上多个顶尖科研团队(包括麻省理工学院 (MIT), 帝国理工学院,CMU, 香港中文大学,代尔夫特理工大学,新加坡国立大学,南洋理工大学等)具有良好的长期合作关系, 并取得了多项国际领先的研究成果。在人工智能领域具有丰富的研究经验,目前已在多智能体系统、 人工智能、 软件工程等领域的多个顶级国际期刊 (Journal of Autonomous Agents and Multiagent Systems, IEEE/ACM Trans (TPAMI, TSG, TAAS 等)) 和国际会议 (NIPS, AAMAS, IJCAI, AAAI, FSE 等)上发表学术论文70余篇,专著2部。

成为VIP会员查看完整内容
45

相关内容

生成对抗网络(GAN)是Ian Goodfellow及其同事在2014年设计的一类机器学习框架。两个神经网络在游戏中相互竞争(从博弈论的角度讲,通常但并非总是以零和博弈的形式)。 在给定训练集的情况下,该技术将学习生成具有与训练集相同的统计数据的新数据。 例如,受过照片训练的GAN可以生成新照片,这些新照片至少对人类观察者而言表面上看起来真实,具有许多现实特征。 尽管GAN最初是作为一种形式的无监督学习模型提出的,但它也已被证明可用于半监督学习,完全监督学习和强化学习。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新《智能交通系统的深度强化学习》综述论文,22页pdf
【天津大学】知识图谱划分算法研究综述
专知会员服务
103+阅读 · 2020年4月27日
【天津大学】风格线条画生成技术综述
专知会员服务
31+阅读 · 2020年4月26日
专知会员服务
35+阅读 · 2019年12月13日
【CAAI 2019】自然语言与理解,苏州大学| 周国栋教授
专知会员服务
62+阅读 · 2019年12月1日
综述:基于GAN的图像翻译模型盘点
PaperWeekly
13+阅读 · 2019年9月2日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
2018中国电子学会科学技术奖评审结果公示
专知
22+阅读 · 2018年12月4日
AI综述专栏 | 非精确图匹配方法综述
人工智能前沿讲习班
8+阅读 · 2018年11月16日
生成对抗网络研究人脸识别领域获进展
中科院之声
8+阅读 · 2018年9月24日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
15+阅读 · 2018年7月26日
清华大学:刘洋——基于深度学习的机器翻译
人工智能学家
11+阅读 · 2017年11月13日
Arxiv
4+阅读 · 2019年4月17日
Arxiv
6+阅读 · 2018年11月1日
Arxiv
6+阅读 · 2018年3月28日
Arxiv
7+阅读 · 2018年3月17日
VIP会员
相关资讯
综述:基于GAN的图像翻译模型盘点
PaperWeekly
13+阅读 · 2019年9月2日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
2018中国电子学会科学技术奖评审结果公示
专知
22+阅读 · 2018年12月4日
AI综述专栏 | 非精确图匹配方法综述
人工智能前沿讲习班
8+阅读 · 2018年11月16日
生成对抗网络研究人脸识别领域获进展
中科院之声
8+阅读 · 2018年9月24日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
15+阅读 · 2018年7月26日
清华大学:刘洋——基于深度学习的机器翻译
人工智能学家
11+阅读 · 2017年11月13日
微信扫码咨询专知VIP会员