书籍主页:https://cs.nyu.edu/~mohri/mlbook/

《机器学习基础》(Foundations of Machine Learning)是对机器学习的通用简介,可作为研究者的参考书和学生的教科书来使用。该书覆盖机器学习领域的基础现代话题,同时提供讨论和算法证明所需的理论基础与概念工具。这本书还介绍了算法应用的多个关键方面。

这本书旨在呈现最新的理论工具和概念,同时提供准确的证明。该书写作风格力求简洁,同时讨论了机器学习领域的一些关键复杂话题,以及多个开放性研究问题。一些经常与其他话题混合的话题以及没有得到足够关注的话题在本书中得到了单独讨论和重视,例如,这本书专门有一个章节讲多类别分类、排序和回归。

这本书覆盖了机器学习领域的大量重要话题,但作者也省略了个别话题,如图模型和流行的神经网络,这是出于简洁性的考虑,以及这些方法暂时缺少一些坚实的理论保证。

什么样的读者适合读

这本书针对的读者群体是机器学习、统计学及相关领域的学生和研究者。它可用作机器学习研究生和高年级本科生的教材,或者科研讨论会的参考书。

本书前三四章主要讲理论,为后续章节夯实理论基础。其他章各自独立,第 6 和 13 章除外,第六章介绍了和后面章节有关的一些概念,第 13 章和 第 12 章关联度很高。每一章的最后都有一系列练习题(附完整答案)。

本书希望读者熟悉线性代数、概率和算法分析。但是,为了进一步帮助到大家,这本书的扩展附录中还包括:对线性代数的概述、凸优化简介、概率论简介、对书中算法分析和讨论有用的一些集中不等式(Concentration inequality),以及信息论简介。

第二版的小目标

Mehryar Mohri 等作者的目标是为多个主题和领域提供统一的内容框架,而不是其它书籍采用的专题展示。这些专题书籍只描述某个特殊的视角或主题,例如贝叶斯视角或核方法主题。这本书有比较强的理论基础,证明与分析也会着重强调,因此它相比很多书籍都有较大的差别。

在第二版中,作者们更新了整本书。其主要改变体现在很多章节的写作风格、新的图表可视化、简化的内容与推导过程、对现有章节的一些补充,特别是第 6 章与第 17 章等一些新的章节。此外,作者们新添了完整的章节「模型选择」(第四章),这是非常重要的一个主题,但以前只简要讨论过。

对于第二版的最后,作者在附录中添加了很多新内容,包括线性代数和概率论等数学基础,也包括了信息论等机器学习基础。另外,作者为新章节提供了很多练习题与解决方案,读者也可以做做习题。

补充资料

这本书提供了很多材料,其中大多数都是纽约大学 Mehryar Mohri 的课程机器学习基础(Foundations of Machine Learning)提供的。这门课已经开展了 14 年,这本书也是该课程的内容概述。Mehryar Mohri 表示,正因为该课程学生的一些好建议,第二版才能最终出版。

课程主页:https://cs.nyu.edu/~mohri/ml18/

该课程主页上有额外的家庭作业、课件和项目等资料,配合书籍使用效果更佳。

成为VIP会员查看完整内容
0
51

相关内容

在过去的十年里,人们对人工智能和机器学习的兴趣有了相当大的增长。从最广泛的意义上说,这些领域旨在“学习一些有用的东西”,了解生物体所处的环境。如何处理收集到的信息导致了算法的发展——如何处理高维数据和处理不确定性。在机器学习和相关领域的早期研究阶段,类似的技术在相对孤立的研究社区中被发现。虽然不是所有的技术都有概率论的自然描述,但许多都有,它是图模型的框架(图和概率论的结合),使从统计物理、统计、机器学习和信息理论的想法的理解和转移。在这种程度上,现在有理由期待机器学习研究人员熟悉统计建模技术的基础知识。这本书集中在信息处理和机器学习的概率方面。当然,没有人说这种方法是正确的,也没有人说这是唯一有用的方法。事实上,有人可能会反驳说,这是没有必要的,因为“生物有机体不使用概率论”。无论情况是否如此,不可否认的是,图模型和概率框架帮助机器学习领域出现了新算法和模型的爆炸式增长。我们还应该清楚,贝叶斯观点并不是描述机器学习和信息处理的唯一方法。贝叶斯和概率技术在需要考虑不确定性的领域中发挥了自己的作用。

http://www0.cs.ucl.ac.uk/staff/d.barber/brml/

本书结构

本书第一部分的目的之一是鼓励计算机科学专业的学生进入这一领域。许多现代学生面临的一个特别困难是有限的正规微积分和线性代数训练,这意味着连续和高维分布的细节可能会让他们离开。在以概率作为推理系统的一种形式开始时,我们希望向读者展示他们可能更熟悉的逻辑推理和动态规划的想法如何在概率环境中有自然的相似之处。特别是,计算机科学的学生熟悉的概念,算法为核心。然而,在机器学习中更常见的做法是将模型视为核心,而如何实现则是次要的。从这个角度来看,理解如何将一个数学模型转换成一段计算机代码是核心。

第二部分介绍了理解连续分布所需的统计背景,以及如何从概率框架来看待学习。第三部分讨论机器学习的主题。当然,当一些读者看到他们最喜欢的统计话题被列在机器学习下面时,他们会感到惊讶。统计学和机器学习之间的一个不同观点是,我们最终希望构建什么样的系统(能够完成“人类/生物信息处理任务的机器),而不是某些技术。因此,我认为这本书的这一部分对机器学习者来说是有用的。第四部分讨论了明确考虑时间的动态模型。特别是卡尔曼滤波器被视为图模型的一种形式,这有助于强调模型是什么,而不是像工程文献中更传统的那样把它作为一个“过滤器”。第五部分简要介绍了近似推理技术,包括随机(蒙特卡罗)和确定性(变分)技术。

成为VIP会员查看完整内容
0
60

本教材介绍了线性代数的概念和技巧,为一年级或二年级的学生提供了高中代数的基本知识。课程内容有足够的灵活性,既可以介绍传统的入门课程,也可以提供更实用的课程。第1-4章为初学者提供一个学期的课程,而第5-9章为第二学期的课程(参见下面的建议课程大纲)。这篇文章主要是关于在适当的时候提到复数的真实线性代数(在附录A中复习)。总的来说,这篇文章的目的是在计算技能、理论和线性代数的应用之间取得平衡。微积分不是先决条件;提到它的地方可以省略。

线性代数在自然科学、工程、管理、社会科学以及数学中都有应用。因此,18个可选的“应用”部分包括在文本中介绍各种各样的主题,如电力网络,经济模型,马尔可夫链,线性递归,微分方程组,和有限域上的线性代码。此外,还介绍了一些应用(例如线性动力系统和有向图)。申请部分出现在相关章节的末尾,以鼓励学生浏览。

https://math.emory.edu/~lchen41/teaching/2020_Fall/Nicholson-OpenLAWA-2019A.pdf

成为VIP会员查看完整内容
0
20

W. Keith Nicholson的《线性代数与应用》,传统上出版多年,现在作为开放教育资源和Lyryx的一部分发布与开放文本!支持今天的学生和教师需要更多的教科书,这就是为什么尼克尔森博士选择与Lyryx学习工作。

总的来说,教材的目标是在计算技能,理论和线性代数的应用之间达到平衡。它是线性代数的思想和技术的一个相对先进的介绍,目标是科学和工程学生,他们不仅需要理解如何使用这些方法,而且还需要深入了解为什么他们工作。

它介绍了线性代数的一般思想远早于竞争保持与线性代数相同的严格和简洁的方法。随着许多图表和例子,帮助学生形象化,它也保持与概念的不断介绍。

课程内容有足够的灵活性,可以呈现一个传统的主题介绍,或者允许一个更实用的课程。第1-4章为初学者开设了一学期的课程,而第5-9章为第二学期的课程。这本教科书主要是关于实数线性代数的,在适当的时候提到了复数(在附录A中回顾)。

成为VIP会员查看完整内容
0
48

这本书的书名听起来有点神秘。如果这本书以一种错误的方式呈现了这个主题,人们为什么要读它呢?书中哪些地方做得特别“不对”?

在回答这些问题之前,让我先描述一下本文的目标受众。这本书是“荣誉线性代数”课程的课堂讲稿。这应该是高等数学学生的第一门线性代数课程。它的目标是一个学生,虽然还不是非常熟悉抽象推理,但愿意学习更严格的数学,在“烹饪书风格”的微积分类型课程。除了作为线性代数的第一门课程,它也应该是第一门向学生介绍严格证明、形式定义——简而言之,现代理论(抽象)数学风格的课程。

目标读者解释了基本概念和具体实例的非常具体的混合,它们通常出现在介绍性的线性代数文本中,具有更抽象的定义和高级书籍的典型构造。

https://www.math.brown.edu/streil/papers/LADW/LADW_2017-09-04.pdf

成为VIP会员查看完整内容
0
65

这是我2004年,2006年和2009年在斯坦福大学教授的概率理论博士课程的讲义。本课程的目标是为斯坦福大学数学和统计学系的博士生做概率论研究做准备。更广泛地说,文本的目标是帮助读者掌握概率论的数学基础和在这一领域中证明定理最常用的技术。然后将此应用于随机过程的最基本类的严格研究。

为此,我们在第一章中介绍了测度与积分理论中的相关元素,即事件的概率空间与格-代数、作为可测函数的随机变量、它们的期望作为相应的勒贝格积分,以及独立性的重要概念。

利用这些元素,我们在第二章中研究了随机变量收敛的各种概念,并推导了大数的弱定律和强定律。

第三章讨论了弱收敛的理论、分布函数和特征函数的相关概念以及中心极限定理和泊松近似的两个重要特例。

基于第一章的框架,我们在第四章讨论了条件期望的定义、存在性和性质,以及相关的规则条件概率分布。

第五章讨论了过滤、信息在时间上的级数的数学概念以及相应的停止时间。关于后者的结果是作为一组称为鞅的随机过程研究的副产品得到的。讨论了鞅表示、极大不等式、收敛定理及其各种应用。为了更清晰和更容易的表述,我们在这里集中讨论离散时间的设置来推迟与第九章相对应的连续时间。

第六章简要介绍了马尔可夫链的理论,概率论的核心是一个庞大的主题,许多教科书都致力于此。我们通过研究一些有趣的特殊情况来说明这类过程的一些有趣的数学性质。

在第七章中,我们简要介绍遍历理论,将注意力限制在离散时间随机过程的应用上。我们定义了平稳过程和遍历过程的概念,推导了Birkhoff和Kingman的经典定理,并强调了该理论的许多有用应用中的少数几个。

第八章建立了以连续时间参数为指标的右连续随机过程的研究框架,引入了高斯过程族,并严格构造了布朗运动为连续样本路径和零均值平稳独立增量的高斯过程。

第九章将我们先前对鞅和强马尔可夫过程的处理扩展到连续时间的设定,强调了右连续滤波的作用。然后在布朗运动和马尔可夫跳跃过程的背景下说明了这类过程的数学结构。

在此基础上,在第十章中,我们利用不变性原理重新构造了布朗运动作为某些重新标定的随机游动的极限。进一步研究了其样本路径的丰富性质以及布朗运动在clt和迭代对数定律(简称lil)中的许多应用。

https://statweb.stanford.edu/~adembo/stat-310b/lnotes.pdf

成为VIP会员查看完整内容
0
77

【导读】纽约大学开设的离散数学课程,这是一门运用于计算机科学的离散数学课程。这只是一门一学期的课程,所以有很多话题是它没有涉及到的,或者没有深入讨论。但我们希望这能给你一个技能的基础,你可以在你需要的时候建立,特别是给你一点数学的成熟——对数学是什么和数学定义和证明如何工作的基本理解。

成为VIP会员查看完整内容
0
84

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
130

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
208
小贴士
相关主题
相关VIP内容
专知会员服务
60+阅读 · 10月8日
专知会员服务
20+阅读 · 9月27日
专知会员服务
63+阅读 · 8月30日
专知会员服务
48+阅读 · 6月10日
专知会员服务
65+阅读 · 2月28日
专知会员服务
77+阅读 · 2020年12月3日
专知会员服务
145+阅读 · 2020年7月28日
专知会员服务
84+阅读 · 2020年5月26日
专知会员服务
130+阅读 · 2020年5月2日
机器学习速查手册,135页pdf
专知会员服务
208+阅读 · 2020年3月15日
相关论文
Shunya Kusakawa,Shion Takeno,Yu Inatsu,Kentaro Kutsukake,Shogo Iwazaki,Takashi Nakano,Toru Ujihara,Masayuki Karasuyama,Ichiro Takeuchi
0+阅读 · 11月26日
Zhanchao Huang,Wei Li,Xiang-Gen Xia,Ran Tao
0+阅读 · 11月24日
Tianchen Zhao,Xiang Xu,Mingze Xu,Hui Ding,Yuanjun Xiong,Wei Xia
4+阅读 · 7月26日
Daniel A. Roberts,Sho Yaida,Boris Hanin
19+阅读 · 6月18日
Alexander Jung
15+阅读 · 2018年8月19日
Feature Selection Library (MATLAB Toolbox)
Giorgio Roffo
3+阅读 · 2018年8月6日
Deep Learning
Nicholas G. Polson,Vadim O. Sokolov
3+阅读 · 2018年8月3日
Few Shot Learning with Simplex
Bowen Zhang,Xifan Zhang,Fan Cheng,Deli Zhao
4+阅读 · 2018年7月27日
Approximability of Discriminators Implies Diversity in GANs
Yu Bai,Tengyu Ma,Andrej Risteski
4+阅读 · 2018年6月27日
Top