这本书调研了大约20世纪90年代末机器学习的许多重要课题。我的意图是在理论和实践之间寻求一个中间桥梁带。笔记集中在机器学习的重要思想上——它既不是一本实践手册,也不是一个理论证明的概要。我的目标是为读者提供充分的准备,使一些关于机器学习的广泛文献易于理解。草稿只有200多页(包括扉页)。

这本书集中在机器学习的重要思想上。对于我所陈述的许多定理,我并没有给出证明,但对于形式的证明,我确实给出了可信的论据和引用。而且,我没有讨论许多在应用中具有实际重要性的问题;这本书不是机器学习实践手册。相反,我的目标是为读者提供充分的准备,使大量关于机器学习的文献易于理解。

学习,就像智力一样,涵盖了如此广泛的过程,很难精确定义。词典的定义包括这样的短语:“通过学习、指导或经验获得知识、或理解、或技能”和“通过经验改变行为倾向”。动物学家和心理学家研究动物和人类的学习。在这本书中,我们关注的是机器学习。动物和机器学习之间有一些相似之处。当然,机器学习的许多技术都来自心理学家的努力,他们通过计算模型使动物和人类学习的理论更加精确。机器学习研究人员正在探索的概念和技术似乎也可能阐明生物学习的某些方面。

成为VIP会员查看完整内容
0
50

相关内容

在过去的二十年里,机器学习已经成为信息技术的支柱之一,并因此成为我们生活中相当核心(尽管通常是隐藏的)的一部分。随着可用数据量的不断增加,我们有充分的理由相信,智能数据分析将变得更加普遍,成为技术进步的必要因素。本章的目的是为读者提供一个广泛的应用的概述,这些应用的核心是一个机器学习问题,并给这一大堆问题带来一定程度的秩序。在那之后,我们将讨论一些来自统计和概率论的基本工具,因为它们构成了许多机器学习问题必须被表述成易于解决的语言。最后,我们将概述一套相当基本但有效的算法来解决一个重要的问题,即分类。更复杂的工具,更普遍的问题的讨论和详细的分析将在本书后面的部分。

成为VIP会员查看完整内容
0
49

强化学习(RL)作为一种可行的、强大的技术,用于解决各种复杂的跨行业业务问题,包括在不确定性下的顺序优化决策。尽管RL被归类为机器学习(ML)的一个分支,但它的看待和处理方式往往与机器学习的其他分支(监督和非监督学习)非常不同。事实上,RL似乎掌握了开启人工智能前景的关键——人工智能可以根据观察到的信息的变化来调整决策,同时不断朝着最优结果前进。RL算法在无人驾驶汽车、机器人和策略游戏等备受瞩目的问题上的渗透,预示着未来RL算法的决策能力将远超人类。

本书重点研究支撑RL的基础理论。我们对这一理论的处理是基于本科水平的概率、优化、统计和线性代数。我们强调严谨但简单的数学符号和公式来发展理论,并鼓励你把方程写出来,而不是仅仅从书中阅读。偶尔,我们引用一些高等数学(如:随机微积分),但本书的大部分是基于容易理解的数学。特别是,两个基本的理论概念- Bellman最优方程和广义策略迭代-贯穿全书,因为它们构成了我们在RL中所做的几乎所有事情的基础,甚至在最先进的算法中。

本书第二部分用动态规划或强化学习算法解决的金融应用。作为随机控制问题的许多金融应用的一个基本特征是,模型MDP的回报是效用函数,以捕捉金融回报和风险之间的权衡。

成为VIP会员查看完整内容
0
61

本书致力于概率信息测度理论及其在信息源和噪声信道编码定理中的应用。最终的目标是全面发展香农的通信数学理论,但大部分篇幅都用于证明香农编码定理所需的工具和方法。这些工具形成了遍历理论和信息论的共同领域,并包含了随机变量、随机过程和动力系统中的信息的几个定量概念。例如熵、互信息、条件熵、条件信息和相对熵(鉴别、Kullback-Leibler信息),以及这些量的极限标准化版本,如熵率和信息率。在考虑多个随机对象时,除了考虑信息之外,我们还会考虑随机对象之间的距离或变形,即一个随机对象被另一个随机对象表示的准确性。书的大部分与这些量的性质有关,特别是平均信息和扭曲的长期渐近行为,其中两个样本平均数和概率平均数是有兴趣的。

成为VIP会员查看完整内容
0
64

本书是信息论领域中一本简明易懂的教材。主要内容包括:熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。

本书还对网络信息论和假设检验等进行了介绍,并且以赛马模型为出发点,将对证券市场研究纳入了信息论的框架,从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

本书适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材,也可供研究人员和专业人士参考。

本书是一本简明易懂的信息论教材。正如爱因斯坦所说:“凡事应该尽可能使其简单到不能再简单为止。''虽然我们没有深人考证过该引语的来源(据说最初是在幸运蛋卷中发现的),但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧,一旦掌握了它们、不仅使信息论的主题简明,而且在处理新问題时提供重要的直觉。本书来自使用了十多年的信息论讲义,原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论.计算机科学和统计学专业学生学习信息论的教材。

信息论中有两个简明要点。第一,熵与互信息这样的特殊量是为了解答基本问题而产生的。例如,熵是随机变量的最小描述复杂度,互信息是度量在噪声背景下的通信速率。另外,我们在以后还会提到,互信息相当于已知边信息条件下财富双倍的增长。第二,回答信息理论问邀的答案具有自然的代数结构。例如,熵具有链式法则,因而,谪和互信息也是相关的。因此,数据压缩和通信中的问题得到广泛的解释。我们都有这样的感受,当研究某个问题时,往往历经大量的代数运算推理得到了结果,但此时没有真正了解问题的全莪,最终是通过反复观察结果,才对整个问题有完整、明确的认识。所以,对一个问题的全面理解,不是靠推理,而是靠对结果的观察。要更具体地说明这一点,物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢?

在本书中,我们常会在着眼于问题之前,先了解一下答案的性质。比如第2章中,我们定义熵、相对熵和互信息,研究它们之间的关系,再对这些关系作一点解释·由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理,我们顺便探讨热力学第二定律的含义。熵总是增加吗?答案既肯定也否定。这种结果会令专家感兴趣,但初学者或i午认为这是必然的而不会深人考虑。

在实际教学中.教师往往会加人一自己的见解。事实上,寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生,那么不仅学生会积极反馈“对,对,对六而且会大大地提升教授该课程的乐崆我们正是这样从研究本教材的许多新想法中获得乐趣的。

本书加人的新素材实例包括信息论与博弈之间的关系,马尔可夫链背景下热力学第二定律的普遍性问题,信道容量定理的联合典型性证明,赫夫曼码的竞争最优性,以及关于最大熵谱密度估计的伯格(回定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。面将费希尔信息,互信息、中心极限定理以及布伦一闵可夫斯基不等式与熵幂不等式联系在一起,也是我们引以为豪之处。令我们感到惊讶的是.关于行列式不等式的许多经典结论,当利用信息论不等式后会很容易得到证明。

自从香农的奠基性论文面世以来,尽管信息论已有了相当大的发展,但我们还是要努力强调它的连贯性。虽然香农创立信息论时受到通信理论中的问题启发,然而我们认为信息论是一门独立的学科,可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来因为明显不可能从这些学科中获得难以理解的信息概念。由于本书中绝大多数结论以定理和证明的形式给出,所以,我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲,我们在介绍问题之前先描述回题的解的性质,而这些很有的性质会使接下来的证明顺理成章。

使用不等式串、中间不加任何文字、最后直接加以解释,是我们在表述方式上的一项创新希望读者学习我们所给的证明过程达到一定数量时,在没有任何解释的情况下就能理解其中的大部分步,并自己给出所需的解释这些不等式串好比模拟到试题,读者可以通过它们确认自己是否已掌握证明那些重要定理的必备知识。这些证明过程的自然流程是如此引人注目,以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话,因而突出了思路的逻辑性与主題思想u我们希望当读者阅读完本书后,能够与我们共同分亨我们所推崇的,具有优美、简洁和自然风格的信息论。

本书广泛使用弱的典型序列的方法,此概念可以追溯到香农1948年的创造性工作,而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性(AEP),或许可以粗略地说成“几乎一切事情都是等可能的"

第2章阐述了熵、相对熵和互信息之同的基本代数关系。渐近均分性是第3章重中之重的内容,这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈,研究了数据压缩的对偶性和财富的增长率。可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度,拥有着巨大的成果,放在第14章中论述。我们的目标是寻找一个通用的最矩描述,而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数0,揭示数学上的不少奥秘,是图灵机停止运转概率的推广。第7章论述信道容量定理。第8章叙述微分熵的必需知识,它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。第il章阐述信息论和统计学之间的关系,20世纪年代初期库尔贝克首次对此进行了研究,此后相对被忽视。由于率失真理论比无噪声数据压缩理论需要更多的背景知识,因而将其放置在正文中比较靠后的第10章。

网络信息理论是个大的主题,安排在第巧章,主要研究的是噪声和干扰存在情形下的同时可达的信息流。有许多新的思想在网络信息理论中开始活跃起来,其主要新要素有干扰和反馈第16章讲述股票市场,这是第6章所讨论的博弈的推广,也再次表明了信息论和博弈之间的紧密联系。第17章讲述信息论中的不等式,我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中,再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦一闵可夫斯基不等式,独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。

本书力求推理严密,因此对数学的要求相当高·要求读者至少学过一学期的概率论课程且有扎实的数学背景,大致为本科高年级或研究生一年级水平。尽管如此,我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点,那就是信息论基础与技巧不同,后者才需要将所有推广都写进去。

本书的主体是第2,3,4,5,7,8,9,10,11和巧章,它们自成体系,读懂了它们就可以对信息论有很好的理解。但在我们看来,第14章的科尔莫戈罗夫复杂度是深人理解信息论所需的必备知识。余下的几章,从博弈到不等式.目的是使主题更加连贯和完美。

成为VIP会员查看完整内容
0
124

这本书的书名听起来有点神秘。如果这本书以一种错误的方式呈现了这个主题,人们为什么要读它呢?书中哪些地方做得特别“不对”?

在回答这些问题之前,让我先描述一下本文的目标受众。这本书是“荣誉线性代数”课程的课堂讲稿。这应该是高等数学学生的第一门线性代数课程。它的目标是一个学生,虽然还不是非常熟悉抽象推理,但愿意学习更严格的数学,在“烹饪书风格”的微积分类型课程。除了作为线性代数的第一门课程,它也应该是第一门向学生介绍严格证明、形式定义——简而言之,现代理论(抽象)数学风格的课程。

目标读者解释了基本概念和具体实例的非常具体的混合,它们通常出现在介绍性的线性代数文本中,具有更抽象的定义和高级书籍的典型构造。

https://www.math.brown.edu/streil/papers/LADW/LADW_2017-09-04.pdf

成为VIP会员查看完整内容
0
65

统计学正迅速成为数学中最重要的多学科领域。据美国统计协会称,统计学是增长最快的10个职业之一,而统计学是增长最快的学士学位之一。统计素养对我们这个数据驱动的社会至关重要。尽管对统计能力的重要性和需求增加,但统计方面的教学方法几乎没有改变。使用Mike Bostock的数据可视化软件,D3.js,看到理论可视化的基本概念所涵盖的大学统计学导论或大学预修课程的统计。我们鼓励学生将视觉理论作为教科书、教授和同学的额外资源。

来自斯坦福大学的一位研究生和他的伙伴们开发了一本颇有新意的统计概率入门教材,与传统教材不同的是,这本书充分利用了数据可视化技术,交互性和趣味性都非常强,可以边读边玩。

该书共分为 6 章,分别为基础概率论、进阶概率论、概率分布、统计推断:频率学派、统计推断:贝叶斯学派和回归分析,每章分为三个小节,如图所示:

成为VIP会员查看完整内容
0
37

计算机能有效地处理人类语言吗?如果这很难,为什么?如果这是可能的,怎么做?这本书向读者介绍计算语言学和自动自然语言处理的迷人科学,它结合了语言学和人工智能。这本书的主要部分致力于解释语言处理器的内部工作,语言处理器是一个软件模块,负责将自然语言输入翻译成传统人工智能应用程序直接可用的表示,反之亦然,负责将它们的答案翻译成人类语言。这本书的整体重点是精心阐述的,尽管——由于许多历史原因——在文献中被称为意义文本理论的计算语言学模型中迄今鲜为人知。为了便于比较,还详细考虑了其他模型和形式。这本书主要面向对西班牙语自然语言处理技术的应用感兴趣的研究人员和学生。特别地,书中给出的大多数例子都涉及西班牙语材料——这是本书区别于其他自然语言处理书籍的一个特点。然而,我们的主要阐述是足够普遍的,适用于广泛的语言。具体来说,考虑到这本书的许多读者将以西班牙语为母语。为他们提供了一些关于英语术语的评论,以及一本关于书中使用的技术术语的英-西班牙语简短词典。不过,阅读这本英文书会帮助说西班牙语的读者熟悉有关该主题的科学文献中使用的风格和术语。

https://www.gelbukh.com/clbook/

成为VIP会员查看完整内容
0
20

越来越多来自不同领域的计算机科学家使用离散数学结构来解释概念和问题。在教学经验的基础上,作者提供了一个容易理解的文本,强调了离散数学的基础及其高级课题。这篇文章展示了如何用清晰的数学语言表达精确的思想。学生发现离散数学在描述计算机科学结构和解决问题方面的重要性。他们还学习如何掌握离散数学将帮助他们发展重要的推理技能,这些技能将在他们的职业生涯中继续发挥作用。

成为VIP会员查看完整内容
0
83

这本受欢迎的教科书的第一版,当代人工智能,提供了一个学生友好的人工智能介绍。这一版完全修订和扩大更新,人工智能: 介绍机器学习,第二版,保留相同的可访问性和解决问题的方法,同时提供新的材料和方法。

该书分为五个部分,重点介绍了人工智能中最有用的技术。书的第一部分涵盖了基于逻辑的方法,而第二部分着重于基于概率的方法。第三部分是涌现智能的特点,探讨了基于群体智能的进化计算和方法。接下来的最新部分将提供神经网络和深度学习的详细概述。书的最后一部分着重于自然语言的理解。

适合本科生和刚毕业的研究生,本课程测试教材为学生和其他读者提供关键的人工智能方法和算法,以解决具有挑战性的问题,涉及系统的智能行为在专门领域,如医疗和软件诊断,金融决策,语音和文本识别,遗传分析等。

https://www.routledge.com/Artificial-Intelligence-With-an-Introduction-to-Machine-Learning-Second/Neapolitan-Jiang/p/book/9781138502383

成为VIP会员查看完整内容
0
112
小贴士
相关VIP内容
专知会员服务
49+阅读 · 4月20日
专知会员服务
61+阅读 · 3月30日
专知会员服务
64+阅读 · 3月23日
专知会员服务
124+阅读 · 3月22日
专知会员服务
65+阅读 · 2月28日
专知会员服务
37+阅读 · 1月19日
专知会员服务
20+阅读 · 2020年11月19日
专知会员服务
83+阅读 · 2020年8月31日
专知会员服务
115+阅读 · 2020年7月29日
专知会员服务
112+阅读 · 2020年7月5日
相关论文
Alex Serban,Joost Visser
0+阅读 · 5月26日
Tatsuya Iwase,Enrico H. Gerding,Sebastian Stein
0+阅读 · 5月21日
Alessandro Fabris,Alan Mishler,Stefano Gottardi,Mattia Carletti,Matteo Daicampi,Gian Antonio Susto,Gianmaria Silvello
0+阅读 · 5月21日
Yu Wang,Xin Xin,Zaiqiao Meng,Xiangnan He,Joemon Jose,Fuli Feng
0+阅读 · 5月20日
Hyperspherical Variational Auto-Encoders
Tim R. Davidson,Luca Falorsi,Nicola De Cao,Thomas Kipf,Jakub M. Tomczak
3+阅读 · 2018年9月26日
Ivana Balazevic,Carl Allen,Timothy M. Hospedales
5+阅读 · 2018年8月28日
Caglar Gulcehre,Misha Denil,Mateusz Malinowski,Ali Razavi,Razvan Pascanu,Karl Moritz Hermann,Peter Battaglia,Victor Bapst,David Raposo,Adam Santoro,Nando de Freitas
8+阅读 · 2018年5月24日
Chiyuan Zhang,Oriol Vinyals,Remi Munos,Samy Bengio
7+阅读 · 2018年4月20日
Ilya Tolstikhin,Olivier Bousquet,Sylvain Gelly,Bernhard Schoelkopf
6+阅读 · 2018年3月12日
Top