VIP内容

《强化学习和随机优化:序列决策的统一框架》是一本新书,它提供了一个统一框架,涵盖了所有在不确定性下进行决策的社区(见jungle.princeton.edu)。这是第一本全面介绍这些领域的书,遵循了确定性优化和机器学习(但不是随机优化)中长期使用的风格。

第一部分提供了基础材料,其中大部分可以略读。第1章提供了通用建模框架的概述,该框架涵盖了任何序列决策问题,最困难的挑战(对于大多数问题)是策略的设计。第1章提供了跨越任何可能被设计的策略的四类策略路线图的早期草图。第2章总结了每个社区的规范化建模框架,这些框架使用了该字段的符号来处理某种形式的序列决策问题。对这一领域完全陌生的读者可以略读这一章,了解已经采用的各种方法。有深度的读者将在这些规范问题中的一个或多个方面有一定程度的专业知识,这将有助于在该问题和我们的框架之间提供一座桥梁。最后,第三章深入探讨了在线学习。本章应该略读,然后在需要时作为参考资料使用。

第二部分-随机搜索-这些是随机优化问题,可以使用自适应算法解决,其中唯一的信息链接迭代是关于函数的信念。我们还将这些状态独立函数称为状态独立函数,以区别于我们在第三部分中开始处理的更一般的状态依赖函数。

第三部分-状态相关问题-这里我们过渡到更丰富的序列问题类,其中被优化的函数是状态相关的。

第四部分-策略搜索-这些章节描述了必须调整的策略,无论是在模拟器中还是通过经验。

第五部分-基于前瞻近似的策略-基于前瞻近似的策略是策略搜索派生的策略的对应。

第六部分-多智能体系统和学习-最后我们展示了如何扩展我们的框架来处理多智能体系统。

目录内容:

Chapter 1 – Introduction

Chapter 2 – Canonical models and applications .

Chapter 3 – Online learning- Revised from ADP book

Chapter 4 – Introduction to stochastic search

Chapter 5 – Derivative-based stochastic optimization

Chapter 6 – Stepsize policies

Chapter 7 – Derivative-free stochastic optimization

Chapter 8 – State-dependent problems

Chapter 9 – Modeling sequential decision problems

Chapter 10 – Uncertainty modeling

Chapter 11 – Designing policies

Chapter 12 – Policy function approximations and policy search

Chapter 13 – Cost function approximations

Chapter 14 – Discrete Markov decision processes

Chapter 15 – Backward approximate dynamic programming

Chapter 16 – Forward ADP I: The value of a policy

Chapter 17 – Forward ADP II: Policy optimization

Chapter 18 – Forward ADP III: Convex functions

Chapter 19 – Direct lookahead policies

Chapter 20 – POMDPs, two-agent systems, and multiagent RL

成为VIP会员查看完整内容
0
35
Top