《强化学习和随机优化:序列决策的统一框架》是一本新书，它提供了一个统一框架，涵盖了所有在不确定性下进行决策的社区(见jungle.princeton.edu)。这是第一本全面介绍这些领域的书，遵循了确定性优化和机器学习(但不是随机优化)中长期使用的风格。
-
第一部分提供了基础材料，其中大部分可以略读。第1章提供了通用建模框架的概述，该框架涵盖了任何序列决策问题，最困难的挑战(对于大多数问题)是策略的设计。第1章提供了跨越任何可能被设计的策略的四类策略路线图的早期草图。第2章总结了每个社区的规范化建模框架，这些框架使用了该字段的符号来处理某种形式的序列决策问题。对这一领域完全陌生的读者可以略读这一章，了解已经采用的各种方法。有深度的读者将在这些规范问题中的一个或多个方面有一定程度的专业知识，这将有助于在该问题和我们的框架之间提供一座桥梁。最后，第三章深入探讨了在线学习。本章应该略读，然后在需要时作为参考资料使用。
-
第二部分-随机搜索-这些是随机优化问题，可以使用自适应算法解决，其中唯一的信息链接迭代是关于函数的信念。我们还将这些状态独立函数称为状态独立函数，以区别于我们在第三部分中开始处理的更一般的状态依赖函数。
-
第三部分-状态相关问题-这里我们过渡到更丰富的序列问题类，其中被优化的函数是状态相关的。
-
第四部分-策略搜索-这些章节描述了必须调整的策略，无论是在模拟器中还是通过经验。
-
第五部分-基于前瞻近似的策略-基于前瞻近似的策略是策略搜索派生的策略的对应。
-
第六部分-多智能体系统和学习-最后我们展示了如何扩展我们的框架来处理多智能体系统。
目录内容：
Chapter 1 – Introduction
Chapter 2 – Canonical models and applications .
Chapter 3 – Online learning- Revised from ADP book
Chapter 4 – Introduction to stochastic search
Chapter 5 – Derivative-based stochastic optimization
Chapter 6 – Stepsize policies
Chapter 7 – Derivative-free stochastic optimization
Chapter 8 – State-dependent problems
Chapter 9 – Modeling sequential decision problems
Chapter 10 – Uncertainty modeling
Chapter 11 – Designing policies
Chapter 12 – Policy function approximations and policy search
Chapter 13 – Cost function approximations
Chapter 14 – Discrete Markov decision processes
Chapter 15 – Backward approximate dynamic programming
Chapter 16 – Forward ADP I: The value of a policy
Chapter 17 – Forward ADP II: Policy optimization
Chapter 18 – Forward ADP III: Convex functions
Chapter 19 – Direct lookahead policies
Chapter 20 – POMDPs, two-agent systems, and multiagent RL
【728页pdf】Reinforcement Learning and Stochastic Optimization: A unified framework for sequential decisions
相关内容
微信扫码咨询专知VIP会员