强化学习是一种学习范式,它关注于如何学习控制一个系统,从而最大化表达一个长期目标的数值性能度量。强化学习与监督学习的区别在于,对于学习者的预测,只向学习者提供部分反馈。此外,预测还可能通过影响被控系统的未来状态而产生长期影响。因此,时间起着特殊的作用。强化学习的目标是开发高效的学习算法,以及了解算法的优点和局限性。强化学习具有广泛的实际应用价值,从人工智能到运筹学或控制工程等领域。在这本书中,我们重点关注那些基于强大的动态规划理论的强化学习算法。我们给出了一个相当全面的学习问题目录,描述了核心思想,关注大量的最新算法,然后讨论了它们的理论性质和局限性。
Preface ix Acknowledgments xiii Markov Decision Processes 1 Value Prediction Problems 11 Control 37 For Further Exploration 63 Further reading 63 Applications 63 Software 64 Appendix: The Theory of Discounted Markovian Decision Processes 65 A.1 Contractions and Banach’s fixed-point theorem 65 A.2 Application to MDPs 69 Bibliography 73 Author's Biography 89