这本书的目的是提供一个从零开始全面的贝叶斯优化介绍,并细致阐述所有关键的想法。目标受众是机器学习、统计和相关领域的研究生和研究人员。然而,我也希望来自其他领域的从业者和研究人员能在这里找到一些用处。

https://bayesoptbook.com/

本书分为三个主要部分,包括:

  • 高斯过程建模的理论与实践,
  • Bayesian方法用于序列决策
  • 实现切实有效的优化策略。

还包括一些其他的主题:

  • 理论收敛结果的概述,
  • 一项关于引人注目的扩展的调研,
  • 贝叶斯优化的全面历史
  • 应用的带注释的参考书目。

目录内容: Introduction Gaussian Processes Modeling with Gaussian Processes Model Assessment, Selection, and Averaging Decision Theory for Optimization Utility Functions for Optimization Common Bayesian Optimization Policies Computing Policies with Gaussian Processes Implementation Theoretical Analysis Extensions and Related Settings A Brief History of Bayesian Optimization

引言概述

在机器学习的背景下,贝叶斯优化是一个古老的想法。尽管贝叶斯优化的历史已经很长,但在过去的十年里,它经历了一段复兴和快速发展的时期。这种复兴的主要驱动力是计算方面的进步,这使得贝叶斯建模和推理的工具越来越复杂。

这本书的目的是提供一个从零开始的全面的贝叶斯优化介绍,并细致阐述所有的关键思想。这种自下而上的方法允许我们在贝叶斯优化算法中确定统一的主题,这些主题可能在以往的调研文献时丢失。

这本书分为三个主要部分。第2-4章涵盖了高斯过程建模的理论和实践方面。这类模型是贝叶斯优化文献中最受欢迎的,其中包含的材料对接下来的几章至关重要。

第5-7章介绍了序列决策理论及其在优化中的应用。虽然这个理论需要一个目标函数的模型和我们对它的观察,介绍是不可知的模型的选择,可以独立地阅读前几章的高斯过程。这些内容是在第8-10章中介绍的,讨论了使用高斯过程模型的贝叶斯优化的细节。第8-9章讨论了计算和实现的细节,第10章讨论了贝叶斯优化算法的理论性能界限,其中大多数结果密切依赖于目标函数的高斯过程模型或相关的重新生成核希尔伯特空间。

一些应用的细微差别需要修改基本序列优化方案(这是前几章的重点),第11章介绍了对这一基本设置的几个值得注意的扩展。每一个都是通过贝叶斯决策理论的统一视角系统地呈现出来的,以说明一个人在面对新情况时应该如何处理。最后,第12章提供了一个简单和独立的贝叶斯历史介绍。

成为VIP会员查看完整内容
0
42

相关内容

《现代统计学导论》是对之前的游戏《统计学与随机化和模拟导论》的重新构想。这本新书着重强调了探索性数据分析(特别是使用可视化、摘要和描述性模型探索多元关系),并提供了使用随机化和引导的基于模拟的推理的全面讨论,接着介绍了基于中心极限定理的相关方法。

第1部分:数据介绍。数据结构、变量、摘要、图形、基本数据收集和研究设计技术。 第2部分:探索性数据分析。数据可视化和总结,特别强调多变量关系。 第3部分:回归建模。用线性和逻辑回归建模数值和分类结果,并使用模型结果来描述关系和作出预测。 第4部分:推理的基础。案例研究被用来引入随机测试、bootstrap间隔和数学模型的统计推理的思想。 第5部分:统计推断。使用随机化测试、引导间隔和数值和分类数据的数学模型的统计推断的进一步细节。 第6部分:推理建模。扩展推理技术提出了迄今为止的线性和逻辑回归设置和评估模型性能。

我们希望读者能从本书中汲取三种思想,并为统计学的思维和方法打下基础。

  1. 统计学是一个具有广泛实际应用的应用领域。

  2. 你不必成为数学大师,也可以从有趣的、真实的数据中学习。

  3. 数据是混乱的,统计工具是不完善的。

地址:

https://www.openintro.org/book/ims/

成为VIP会员查看完整内容
0
41

这本教科书强调了代数和几何之间的相互作用,以激发线性代数的研究。矩阵和线性变换被认为是同一枚硬币的两面,它们的联系激发了全书的探究。围绕着这个界面,作者提供了一个概念上的理解,数学是进一步的理论和应用的核心。继续学习线性代数的第二门课程,您将会对《高等线性代数与矩阵代数》这本书有更深的了解。

从向量、矩阵和线性变换的介绍开始,这本书的重点是构建这些工具所代表的几何直观。线性系统提供了迄今为止看到的思想的强大应用,并导致子空间、线性独立、基和秩的引入。然后研究集中在矩阵的代数性质,阐明了它们所代表的线性变换的几何性质。行列式、特征值和特征向量都可以从这种几何观点中获益。在整个过程中,“额外主题”部分以广泛的思想和应用扩大了核心内容,从线性规划,到幂迭代和线性递归关系。每个部分都有各种层次的练习,包括许多设计用来用电脑程序解决的练习。

这本书是从线性变换和矩阵本身都是有用的对象的角度写的,但它是两者之间的联系,真正打开线性代数的魔法。有时候,当我们想知道一些关于线性变换的东西时,最简单的方法就是找到一组基然后看对应的矩阵。相反,有许多有趣的矩阵和矩阵运算家族,它们似乎与线性变换无关,但却可以解释一些基无关对象的行为。

线性与矩阵代数导论是线性代数的理想入门证明课程。学生被假定已经完成了一到两门大学水平的数学课程,尽管微积分不是明确的要求。教师将会感激有足够的机会选择符合每个教室需求的主题,并通过WeBWorK提供在线作业集。

成为VIP会员查看完整内容
0
51

优化和机器学习的相互作用是现代计算科学最重要的发展之一。优化的公式和方法在设计从大量数据中提取基本知识的算法方面被证明是至关重要的。然而,机器学习并不仅仅是优化技术的消费者,而是一个快速发展的领域,它本身也在产生新的优化思想。这本书以一种对两个领域的研究人员都可访问的方式捕获了优化和机器学习之间交互的艺术的状态。

优化方法因其广泛的适用性和吸引人的理论特性而在机器学习中占有重要地位。当今机器学习模型的复杂性、规模和多样性日益增加,需要对现有假设进行重新评估。这本书开始了重新评估的过程。它描述了在诸如一阶方法,随机近似,凸松弛,内点方法,和近端方法等已建立的框架。它还专门关注一些新的主题,如正则化优化、鲁棒优化、梯度和次梯度方法、分裂技术和二阶方法。其中许多技术的灵感来自其他领域,包括运筹学、理论计算机科学和优化子领域。这本书将丰富机器学习社区和这些其他领域以及更广泛的优化社区之间正在进行的交叉发展。

成为VIP会员查看完整内容
0
81

这本书提供了一个广泛的不确定性决策的算法介绍。我们涵盖了与决策相关的各种主题,介绍了潜在的数学问题公式和解决它们的算法。

本文面向高级本科生、研究生和专业人员。本书要求具有一定的数学基础,并假定预先接触过多变量微积分、线性代数和概率概念。附录中提供了一些复习材料。这本书特别有用的学科包括数学、统计学、计算机科学、航空航天、电气工程和运筹学。

这本教科书的基础是算法,它们都是用Julia编程语言实现的。这本允许免费使用与本书相关的代码片段,条件是必须确认代码的来源。我们预计其他人可能想把这些算法翻译成其他编程语言。随着翻译版本的发布,我们将从该书的网页上链接到它们。

许多重要的问题都涉及不确定性下的决策,包括飞机碰撞避免、灾害管理和灾难反应。在设计自动化决策系统或决策支持系统时,在做出或推荐决策时考虑各种不确定性来源是很重要的。考虑到这些不确定性的来源并仔细平衡系统的多个目标是非常具有挑战性的。我们将从计算的角度讨论这些挑战,旨在提供决策模型和计算方法背后的理论。本章介绍了不确定性下的决策问题,提供了一些应用实例,并概述了可能的计算方法的空间。本章总结了各种学科对我们理解智能决策的贡献,并强调了潜在社会影响的领域。我们以本书其余部分的大纲结束。

https://algorithmsbook.com/

Introduction

  • PART I: PROBABILISTIC REASONING Representation
  • PART II: SEQUENTIAL PROBLEMS Exact Solution Methods
  • PART III: MODEL UNCERTAINTY Exploration and Exploitation
  • PART V: MULTIAGENT SYSTEMS Multiagent Reasoning
成为VIP会员查看完整内容
0
102

这本书介绍了金融中的机器学习方法。它为量化金融提出了一个统一的处理机器学习和各种统计计算学科,如金融计量经济学和离散时间随机控制,并强调为金融数据建模和决策如何进行理论和假设检验做出算法的选择。随着计算资源和数据集的增加,机器学习已经成为金融业的一项重要技能。这本书是为在金融计量经济学,金融数学和应用统计学的高级研究生和学者写的,此外还包括在定量金融领域的定量和数据科学家。

金融中的机器学习:从理论到实践分为三个部分,每个部分包括理论和应用。第一篇从贝叶斯和频率论的角度介绍了对横断面数据的监督学习。更高级的材料强调神经网络,包括深度学习,以及高斯过程,在投资管理和衍生建模的例子。第二部分介绍了时间序列数据的监督学习,这是金融领域最常用的数据类型,并举例说明了交易、随机波动和固定收益模型。最后,第三部分介绍了强化学习及其在交易、投资和财富管理中的应用。还提供了Python代码示例,以支持读者对方法和应用的理解。这本书还包括超过80个数学和编程练习例子,与工作的解决方案可提供给教师。作为这一新兴领域研究的桥梁,最后一章从研究人员的角度介绍了金融机器学习的前沿,强调了统计物理中有多少众所周知的概念可能会作为金融机器学习的重要方法出现。

https://www.springer.com/gp/book/9783030410674

代码: https://github.com/mfrdixon/ML_Finance_Codes

成为VIP会员查看完整内容
2
138

深入机器学习模型的超参数调整,关注什么是超参数以及它们是如何工作的。这本书讨论了不同的超参数调优技术,从基础到高级方法。

这是一个关于超参数优化的分步指南,从什么是超参数以及它们如何影响机器学习模型的不同方面开始。然后介绍一些基本的超参数优化算法。此外,作者利用分布式优化方法解决了时间和内存约束的问题。接下来您将讨论超参数搜索的贝叶斯优化,它从以前的历史中吸取了教训。

这本书讨论了不同的框架,如Hyperopt和Optuna,它实现了基于顺序模型的全局优化(SMBO)算法。在这些讨论中,您将关注不同的方面,比如搜索空间的创建和这些库的分布式优化。

机器学习中的超参数优化有助于理解这些算法是如何工作的,以及如何在现实数据科学问题中使用它们。最后一章总结了超参数优化在自动机器学习中的作用,并以一个创建自己的自动脚本的教程结束。

超参数优化是一项冗长乏味的任务,所以请坐下来,让这些算法来完成您的工作。你将学到什么

  • 了解超参数中的更改如何影响模型的性能。
  • 对数据科学问题应用不同的超参数调优算法
  • 使用贝叶斯优化方法来创建高效的机器学习和深度学习模型
  • 使用计算机集群分发超参数优化
  • 利用超参数优化方法实现机器自动学习

这本书是给谁的

  • 从事机器学习的专业人员和学生。

在构建机器学习模型时选择正确的超参数是数据科学从业者面临的最大问题之一。这本书是超参数优化(HPO)的指南。它从超参数的最基本定义开始,并带您使用高级HPO技术构建您自己的AutoML脚本。这本书是打算为学生和数据科学专业人员。这本书由五章组成。

  • 第1章帮助您理解超参数是如何影响模型构建的整个过程的。它告诉我们HPO的重要性。
  • 第2章介绍了基本且易于实现的HPO方法。
  • 第3章介绍了解决时间和内存限制的各种技术。
  • 第4章和第5章讨论了贝叶斯优化、相关库和AutoML。

这本书的目的是让读者以一种直观和实用的方式来理解HPO的概念,每个部分都提供了代码实现。我希望你能喜欢。

成为VIP会员查看完整内容
1
98

为土木工程专业的学生和专业人士介绍概率机器学习的关键概念和技术;有许多循序渐进的例子、插图和练习。

这本书向土木工程的学生和专业人员介绍了概率机器学习的概念,以一种对没有统计学或计算机科学专业背景的读者可访问的方式提出了关键的方法和技术。通过一步步的例子、插图和练习,它清晰而直接地展示了不同的方法。掌握了材料,读者将能够理解更高级的机器学习文献,从这本书中提取。

本书介绍了概率机器学习的三个子领域的关键方法:监督学习、非监督学习和强化学习。它首先涵盖了理解机器学习所需的背景知识,包括线性代数和概率论。接着介绍了有监督和无监督学习方法背后的贝叶斯估计,以及马尔可夫链蒙特卡洛方法,该方法使贝叶斯估计能够在某些复杂情况下进行。这本书接着涵盖了与监督学习相关的方法,包括回归方法和分类方法,以及与非监督学习相关的概念,包括聚类、降维、贝叶斯网络、状态空间模型和模型校准。最后,本书介绍了不确定环境下理性决策的基本概念,以及不确定和序列上下文下理性决策的基本概念。在此基础上,这本书描述了强化学习的基础,虚拟代理学习如何通过试验和错误作出最优决策,而与它的环境交互。

目录内容: Chapter 1: 引言 Introduction Part one: 背景 Background
Chapter 2: 线性代数 Chapter 3: 概率理论 Probability Theory Chapter 4: 概率分布 Probability Distributions Chapter 5: 凸优化 Convex Optimization Part two: 贝叶斯估计 Bayesian Estimation Chapter 6: 从数据中学习 Learning from Data Chapter 7: 马尔科夫链蒙特卡洛 Markov Chain Monte Carlo
Part three: 监督学习 Supervised Learning Chapter 8: 回归 Regression Chapter 9: 分类 Classification Part four: 无监督学习 Unsupervised Learning Chapter 10: 聚类 Clustering Chapter 11: 贝叶斯网络 Bayesian Networks Chapter 12: 状态空间 State-Space Models Chapter 13: 模型 Model Calibration Part five: 强化学习 Reinforcement Learning Chapter 14: 不确定上下文决策 Decision in Uncertain Contexts Chapter 15: 序列决策 Sequential Decisions

成为VIP会员查看完整内容
0
58

这篇介绍旨在为读者提供对高斯过程回归的直观理解。高斯过程回归(GPR)模型由于其表示法的灵活性和预测的固有不确定性,在机器学习应用中得到了广泛的应用。本文首先解释了高斯过程所建立的数学基础,包括多元正态分布、核、非参数模型、联合概率和条件概率。然后,通过显示不必要的数学推导步骤和缺少关键的结论性结果的平衡,以可访问的方式描述高斯过程回归。给出了一个标准高斯过程回归算法的说明性实现。除了标准的高斯过程回归之外,现有的软件包实现了最先进的高斯过程算法。最后,给出了更高级的高斯过程回归模型。这篇论文的写作方式通俗易懂,理工科本科学生理解文章内容不会有困难。

https://arxiv.org/abs/2009.10862

成为VIP会员查看完整内容
0
43

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
123

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
318
小贴士
相关主题
相关VIP内容
专知会员服务
41+阅读 · 7月11日
专知会员服务
51+阅读 · 5月24日
专知会员服务
81+阅读 · 2月26日
专知会员服务
58+阅读 · 2020年11月12日
专知会员服务
43+阅读 · 2020年9月30日
专知会员服务
123+阅读 · 2020年5月2日
相关论文
Samuel Dooley,Ryan Downing,George Wei,Nathan Shankar,Bradon Thymes,Gudrun Thorkelsdottir,Tiye Kurtz-Miott,Rachel Mattson,Olufemi Obiwumi,Valeriia Cherepanova,Micah Goldblum,John P Dickerson,Tom Goldstein
0+阅读 · 10月25日
Michel H. Montoril,Leandro T. Correia,Helio S. Migon
0+阅读 · 10月22日
Wenjie Li,Chi-Hua Wang,Guang Cheng
0+阅读 · 10月17日
Othmane Mounjid,Charles-Albert Lehalle
0+阅读 · 10月17日
Praveen Tirupattur,Kevin Duarte,Yogesh Rawat,Mubarak Shah
3+阅读 · 3月4日
Prithviraj Ammanabrolu,Wesley Cheung,William Broniec,Mark O. Riedl
7+阅读 · 2020年12月30日
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
45+阅读 · 2020年7月2日
Varun Kumar,Ashutosh Choudhary,Eunah Cho
8+阅读 · 2020年3月4日
Top