【微软Alekh等开放新书】强化学习理论与算法，83页pdf，了解最新进展- 专知

【微软Alekh等开放新书】强化学习理论与算法，83页pdf，了解最新进展

【导读】强化学习是近几年研究的热点，特别是伴随DeepMind AlphaGo的出现名声大噪。微软首席研究经理Alekh Agarwal、UIUC助理教授姜楠、华盛顿研究基金会数据科学主席Sham M. Kakade合编的新书《强化学习：理论与算法》，83页pdf，讲述了强化学习最新进展，包括MDP、样本复杂度、策略探索、PG、值函数等关键议题，是了解强化学习的材料。

新书地址：

https://rltheorybook.github.io/

作者介绍：

Alekh Agarwal目前是微软人工智能研究中心的研究员，领导强化学习研究小组。之前，在加州大学伯克利分校获得计算机科学博士学位后，与彼得·巴特利特(Peter Bartlett)和马丁·温赖特(Martin Wainwright)一起在纽约微软研究院(Microsoft Research)度过了六年美好的时光。

http://alekhagarwal.net/

姜楠，UIUC助理教授

https://nanjiang.cs.illinois.edu/

华盛顿研究基金会数据科学主席Sham M. Kakade

强化学习(RL)是一种机器学习范式，在这种范式中，agent从经验中学习完成顺序决策任务。RL在机器人、控制、对话系统、医疗等领域有广泛的应用。

第一章马尔科夫决策过程MDP 预介绍

在强化学习中，agent与环境之间的相互作用通常用马尔可夫描述，决策过程(MDP) [Puterman, 1994]，

1.1 马尔科夫决策过程

1.1.1 交互协议

1.1.2 目标、策略和价值观

1.1.3 平稳策略的Bellman一致性方程

1.1.4 Bellman最优性方程

1.2 MDP规划

1.2.1 Q值迭代

1.2.2 策略迭代

第二章生成模型的样本复杂度

2.1 生成模型设置

2.2 样本的复杂性

2.2.1一种朴素方法:精确的模型估计

2.2.2 更细化的方法:使用稀疏模型

2.2.3下界

2.2.4 关于πb策略的价值

2.3 分析

2.3.1 完成证明

2.4 文献评论

第三章强化学习的策略探索

在这一讲中，我们将看到一个代理如何在MDP中工作，随着时间的推移，它可以学习接近最优的行为策略。与前一讲关于生成模型的设置相比，我们不再能够方便地访问每个状态的转换，而只能在MDP中执行轨迹。这给学习过程增加的主要复杂性是，代理必须参与探索，也就是说，计划到达尚未看到足够多的样本的新状态，以便能够学习这些状态中的最佳行为。