【2021新书】贝叶斯优化，364页pdf阐述高斯过程理论与实践

这本书的目的是提供一个从零开始全面的贝叶斯优化介绍，并细致阐述所有关键的想法。目标受众是机器学习、统计和相关领域的研究生和研究人员。然而，我也希望来自其他领域的从业者和研究人员能在这里找到一些用处。

https://bayesoptbook.com/

本书分为三个主要部分，包括:

• 高斯过程建模的理论与实践，
• Bayesian方法用于序列决策
• 实现切实有效的优化策略。

还包括一些其他的主题:

• 理论收敛结果的概述，
• 一项关于引人注目的扩展的调研，
• 贝叶斯优化的全面历史
• 应用的带注释的参考书目。

目录内容： Introduction Gaussian Processes Modeling with Gaussian Processes Model Assessment, Selection, and Averaging Decision Theory for Optimization Utility Functions for Optimization Common Bayesian Optimization Policies Computing Policies with Gaussian Processes Implementation Theoretical Analysis Extensions and Related Settings A Brief History of Bayesian Optimization

引言概述

在机器学习的背景下，贝叶斯优化是一个古老的想法。尽管贝叶斯优化的历史已经很长，但在过去的十年里，它经历了一段复兴和快速发展的时期。这种复兴的主要驱动力是计算方面的进步，这使得贝叶斯建模和推理的工具越来越复杂。

这本书的目的是提供一个从零开始的全面的贝叶斯优化介绍，并细致阐述所有的关键思想。这种自下而上的方法允许我们在贝叶斯优化算法中确定统一的主题，这些主题可能在以往的调研文献时丢失。

这本书分为三个主要部分。第2-4章涵盖了高斯过程建模的理论和实践方面。这类模型是贝叶斯优化文献中最受欢迎的，其中包含的材料对接下来的几章至关重要。

第5-7章介绍了序列决策理论及其在优化中的应用。虽然这个理论需要一个目标函数的模型和我们对它的观察，介绍是不可知的模型的选择，可以独立地阅读前几章的高斯过程。这些内容是在第8-10章中介绍的，讨论了使用高斯过程模型的贝叶斯优化的细节。第8-9章讨论了计算和实现的细节，第10章讨论了贝叶斯优化算法的理论性能界限，其中大多数结果密切依赖于目标函数的高斯过程模型或相关的重新生成核希尔伯特空间。

一些应用的细微差别需要修改基本序列优化方案(这是前几章的重点)，第11章介绍了对这一基本设置的几个值得注意的扩展。每一个都是通过贝叶斯决策理论的统一视角系统地呈现出来的，以说明一个人在面对新情况时应该如何处理。最后，第12章提供了一个简单和独立的贝叶斯历史介绍。