经典书《机器学习:概率视角》第二版Python代码,附1098页pdf下载

2019 年 10 月 23 日 专知
经典书《机器学习:概率视角》第二版Python代码,附1098页pdf下载

【导读】谷歌研究员Kevin Patrick Murphy撰写的经典机器学习图书,由MIT出版社出版,《Machine Learning: a Probabilistic Perspective》,自2012年发行以来就奉为经典机器学习书目。本书内容完整,讲解详细,便于阅读,方便工程使用。最近作者在Github上发布了关于本书的Python代码,更加方便使用!本文附带1098页pdf下载。


http://people.cs.ubc.ca/~murphyk/MLbook/


请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“MLP” 就可以获取机器学习:概率视角1098页pdf下载链接~ 




机器学习:一种概率视角


简介
随着电子形式的数据量的不断增加,对数据分析的自动化方法的需求也在不断增长。机器学习的目标是开发能够自动检测数据模式的方法,然后使用未发现的模式来预测未来的数据或其他感兴趣的结果。因此,机器学习与统计和数据挖掘领域密切相关,但在其重点和术语方面略有不同。这本书提供了该领域的详细介绍,并包括从应用领域,如分子生物学,文本处理,计算机视觉和机器人的工作示例。

目标读者
本书适用于计算机科学、统计学、电子工程、计量经济学或其他任何具有适当数学背景的学科的高年级本科生和研究生。特别地,假定读者已经熟悉基本的多元微积分、概率论、线性代数和计算机编程。事先接触统计学是有帮助的,但不是必须的。

一种概率视角
本书采用了这样一种视角,即创造能从数据中学习的机器的最好方法是使用概率论的工具,几个世纪以来,概率论一直是统计学和工程学的支柱。概率论可以应用于任何涉及不确定性的问题。在机器学习中,不确定性有多种形式: 给定一些数据,什么是最好的预测(或决策)?给定数据的最佳模型是什么?接下来我应该执行什么度量?等。


概率推理系统地应用于所有的推理问题,包括统计模型的推理参数,有时被称为贝叶斯方法。然而,这个词往往会引起非常强烈的反应(积极或消极,取决于你问谁),所以我们更喜欢中性的术语“概率方法”。此外,我们将经常使用最大似然估计等技术,它们不是贝叶斯方法,但肯定属于概率范式。


这本书并没有描述一本关于不同启发式方法的烹饪书,而是强调了一种基于模型的机器学习方法。对于任何给定的模型,通常可以应用多种算法。相反,任何给定的算法通常都可以应用于各种模型。这种模块化,即模型与算法的区别,是一种很好的教学方法,也是一种很好的工程技术。


我们将经常使用图模型的语言以一种简洁和直观的方式来指定我们的模型。我们将看到,除了帮助理解之外,图结构还有助于开发有效的算法。然而,这本书主要不是关于图形模型的;它是关于概率建模的。


目录

Chapter 1: 引言 Introduction
Chapter 2: 概率 Probability
Chapter 3: 面向离散数据的生成式模型 Generative models for discrete data

Chapter 4: 高斯模型 Gaussian models

Chapter 5: 贝叶斯统计 Bayesian statistics
Chapter 6: 频率统计 Frequentist statistics
Chapter 7: 线性回归 Linear regression
Chapter 8: 逻辑回归 Logistic regression
Chapter 9: 广义线性模型和指数族 Generalized linear models and the exponential family

Chapter 10: 有向图模型(贝叶斯网络) Directed graphical models (Bayes nets)
Chapter 11: 混合模型与EM算法 Mixture models and the EM algorithm
Chapter 12: 隐式线性模型 Latent linear models
Chapter 13: 稀疏线性模型 Sparse linear models
Chapter 14: 核方法 Kernels
Chapter 15: 高斯过程 Gaussian processes

Chapter 16: 自适应基函数模型 Adaptive basis function model

Chapter 17: 马尔可夫模型和隐马尔可夫模型 Markov and hidden Markov Models
Chapter 18: 状态空间模型 State space models
Chapter 19: 无向图模型(马尔可夫随机域) Undirected graphical models (Markov random fields)

Chapter 20: 图模型精准推断 Exact inference algorithms for graphical models
Chapter 21: 变分推断 Variational inference
Chapter 22: 更进变分推断 More variational inference
Chapter 23: 蒙特卡洛推断 Monte Carlo inference algorithms
Chapter 24: 马尔科夫链蒙特卡洛推断 MCMC inference algorithms
Chapter 25: 聚类 Clustering
Chapter 26: 图模型结构学习 Graphical model structure learning
Chapter 27: 因变量 Latent variable models for discrete data
Chapter 28: 深度学习 Deep learning


Python配套代码


《机器学习:概率视角》第二版的Python 3代码。这是正在进行的工作。

https://github.com/probml/pyprobml

Foundations

  • Introduction

  • Linear algebra

  • Calculus

  • Probability

  • Information theory

  • Bayesian statistics

  • Frequentist statistics

  • Statistical models

Algorithms

  • Optimization

  • Graphical model inference

  • Variational inference

  • Monte Carlo inference

Models

  • Generalized linear models

  • Deep neural networks

  • Graphical models

  • Visible generative models

  • Latent generative models

  • Gaussian processes

  • Models for graphs, manifolds and clusters

  • Reinforcement learning





-END-
专 · 知


专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎登录www.zhuanzhi.ai,注册登录专知,获取更多AI知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询
请加专知小助手微信(扫一扫如下二维码添加), 获取专知VIP会员码 ,加入专知人工智能主题群,咨询技术商务合作~
点击“阅读原文”,了解注册成为 专知VIP会员
登录查看更多
86

相关内容

本话题关于日常用语「概率」,用于讨论生活中的运气、机会,及赌博、彩票、游戏中的「技巧」。关于抽象数学概念「概率」的讨论,请转 概率(数学)话题。

本书涵盖了这些领域中使用Python模块演示的概率、统计和机器学习的关键思想。整本书包括所有的图形和数值结果,都可以使用Python代码及其相关的Jupyter/IPython Notebooks。作者通过使用多种分析方法和Python代码的有意义的示例,开发了机器学习中的关键直觉,从而将理论概念与具体实现联系起来。现代Python模块(如panda、y和Scikit-learn)用于模拟和可视化重要的机器学习概念,如偏差/方差权衡、交叉验证和正则化。许多抽象的数学思想,如概率论中的收敛性,都得到了发展,并用数值例子加以说明。本书适合任何具有概率、统计或机器学习的本科生,以及具有Python编程的基本知识的人。

成为VIP会员查看完整内容
0
154

机器学习是计算机科学中增长最快的领域之一,具有深远的应用。本书的目的是介绍机器学习,以及它所提供的算法范例。本书对机器学习的基本原理和将这些原理转化为实际算法的数学推导提供了理论解释。在介绍了基础知识之后,这本书涵盖了以前教科书没有涉及到的一系列广泛的中心主题。这些包括讨论学习的计算复杂性和凸性和稳定性的概念;重要的算法范例包括随机梯度下降、神经网络和结构化输出学习;以及新兴的理论概念,如PAC-Bayes方法和基于压缩的界限。本文面向高级本科生或刚毕业的学生,使统计学、计算机科学、数学和工程学领域的学生和非专业读者都能接触到机器学习的基本原理和算法。

https://www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html

概述

机器学习是指自动检测数据中有意义的模式。在过去的几十年里,它已经成为几乎所有需要从大数据集中提取信息的任务的通用工具。我们被一种基于机器学习的技术包围着:搜索引擎学习如何给我们带来最好的结果(同时投放有利可图的广告),反垃圾邮件软件学习如何过滤我们的电子邮件信息,信用卡交易被一种学习如何侦测欺诈的软件保护着。数码相机学会识别人脸,智能手机上的智能个人辅助应用学会识别语音指令。汽车配备了使用机器学习算法构建的事故预防系统。机器学习还广泛应用于生物信息学、医学和天文学等科学领域。

所有这些应用程序的一个共同特征是,与计算机的更传统使用相比,在这些情况下,由于需要检测的模式的复杂性,人类程序员无法提供关于这些任务应该如何执行的明确、详细的规范。以智慧生物为例,我们的许多技能都是通过学习我们的经验(而不是遵循给我们的明确指示)而获得或改进的。机器学习工具关注的是赋予程序“学习”和适应的能力。

这本书的第一个目标是提供一个严格的,但易于遵循,介绍机器学习的主要概念: 什么是机器学习?

本书的第二个目标是介绍几种关键的机器学习算法。我们选择展示的算法一方面在实践中得到了成功应用,另一方面提供了广泛的不同的学习技术。此外,我们特别关注适合大规模学习的算法(又称“大数据”),因为近年来,我们的世界变得越来越“数字化”,可用于学习的数据量也在急剧增加。因此,在许多应用中数据量大,计算时间是主要瓶颈。因此,我们明确地量化了学习给定概念所需的数据量和计算时间。

目录:

  • Introduction

Part I: Foundations

  • A gentle start
  • A formal learning model
  • Learning via uniform convergence
  • The bias-complexity trade-off
  • The VC-dimension
  • Non-uniform learnability
  • The runtime of learning

Part II: From Theory to Algorithms

  • Linear predictors
  • Boosting
  • Model selection and validation
  • Convex learning problems
  • Regularization and stability
  • Stochastic gradient descent
  • Support vector machines
  • Kernel methods
  • Multiclass, ranking, and complex prediction problems
  • Decision trees
  • Nearest neighbor
  • Neural networks

Part III: Additional Learning Models

  • Online learning
  • Clustering
  • Dimensionality reduction
  • Generative models
  • Feature selection and generation

Part IV: Advanced Theory

  • Rademacher complexities
  • Covering numbers
  • Proof of the fundamental theorem of learning theory
  • Multiclass learnability
  • Compression bounds
  • PAC-Bayes

Appendices

  • Technical lemmas
  • Measure concentration
  • Linear algebra
成为VIP会员查看完整内容
0
163

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
119

概率图模型是机器学习中的一种技术,它使用图论的概念来简明地表示和最佳地预测数据问题中的值。

图模型为我们提供了在数据中发现复杂模式的技术,广泛应用于语音识别、信息提取、图像分割和基因调控网络建模等领域。

这本书从概率论和图论的基础开始,然后继续讨论各种模型和推理算法。所有不同类型的模型都将与代码示例一起讨论,以创建和修改它们,并在它们上运行不同的推理算法。有一整章是关于朴素贝叶斯模型和隐马尔可夫模型的。这些模型已经通过实际例子进行了详细的讨论。

你会学到什么

  • 掌握概率论和图论的基本知识
  • 使用马尔可夫网络
  • 实现贝叶斯网络
  • 图模型中的精确推理技术,如变量消除算法
  • 了解图模型中的近似推理技术,如消息传递算法

图模型中的示例算法 通过真实的例子来掌握朴素贝叶斯的细节 使用Python中的各种库部署PGMs 获得隐马尔可夫模型的工作细节与现实世界的例子

详细 概率图模型是机器学习中的一种技术,它使用图论的概念来简洁地表示和最佳地预测数据问题中的值。在现实问题中,往往很难选择合适的图模型和合适的推理算法,这对计算时间和精度有很大的影响。因此,了解这些算法的工作细节是至关重要的。

这本书从概率论和图论的基础开始,然后继续讨论各种模型和推理算法。所有不同类型的模型都将与代码示例一起讨论,以创建和修改它们,并在它们上运行不同的推理算法。有一个完整的章节专门讨论最广泛使用的网络朴素贝叶斯模型和隐马尔可夫模型(HMMs)。这些模型已经通过实际例子进行了详细的讨论。

风格和方法 一个易于遵循的指南,帮助您理解概率图模型使用简单的例子和大量的代码例子,重点放在更广泛使用的模型。

成为VIP会员查看完整内容
0
148

贝叶斯数据分析第三版,这本经典的书被广泛认为是关于贝叶斯方法的主要著作,用实用的方法来分析数据和解决研究问题。贝叶斯数据分析,第三版继续采取一种实用的方法来分析使用最新的贝叶斯方法。作者——统计界权威——在介绍高级方法之前,先从数据分析的角度介绍基本概念。在整个文本中,大量的工作示例来自实际应用和研究,强调在实践中使用贝叶斯推理。

第三版新增

  • 非参数建模的四个新章节
  • 覆盖信息不足的先验和边界回避的先验
  • 关于交叉验证和预测信息标准的最新讨论
  • 改进的收敛性监测和有效的样本容量计算迭代模拟
  • 介绍了哈密顿的蒙特卡罗、变分贝叶斯和期望传播
  • 新的和修改的软件代码

这本书有三种不同的用法。对于本科生,它介绍了从第一原则开始的贝叶斯推理。针对研究生,本文提出了有效的方法,目前贝叶斯建模和计算的统计和相关领域。对于研究人员来说,它提供了应用统计学中的各种贝叶斯方法。其他的资料,包括例子中使用的数据集,所选练习的解决方案,以及软件说明,都可以在本书的网页上找到。

贝叶斯数据分析课程

https://avehtari.github.io/BDA_course_Aalto/index.html

成为VIP会员查看完整内容
0
150

谷歌研究员Kevin Patrick Murphy撰写的经典机器学习图书,由MIT出版社出版,《Machine Learning: a Probabilistic Perspective》,自2012年发行以来就奉为经典机器学习书目。本书内容完整,讲解详细,便于阅读,方便工程使用。最近作者在Github上发布了关于本书的Python代码,更加方便使用!本文附带1098页pdf下载。

Python配套代码

Github: https://github.com/probml/pyprobml

成为VIP会员查看完整内容
0
146
小贴士
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
45+阅读 · 2020年7月2日
Simple and effective localized attribute representations for zero-shot learning
Shiqi Yang,Kai Wang,Luis Herranz,Joost van de Weijer
4+阅读 · 2020年6月10日
Hongwei Wang,Jure Leskovec
28+阅读 · 2020年2月17日
Wenwu Zhu,Xin Wang,Peng Cui
19+阅读 · 2020年1月2日
A Comprehensive Survey on Transfer Learning
Fuzhen Zhuang,Zhiyuan Qi,Keyu Duan,Dongbo Xi,Yongchun Zhu,Hengshu Zhu,Hui Xiong,Qing He
87+阅读 · 2019年11月7日
Learning to Learn and Predict: A Meta-Learning Approach for Multi-Label Classification
Jiawei Wu,Wenhan Xiong,William Yang Wang
16+阅读 · 2019年9月9日
Wen Zhang,Bibek Paudel,Liang Wang,Jiaoyan Chen,Hai Zhu,Wei Zhang,Abraham Bernstein,Huajun Chen
7+阅读 · 2019年3月21日
Aaron van den Oord,Yazhe Li,Oriol Vinyals
5+阅读 · 2019年1月22日
Zhongyang Li,Xiao Ding,Ting Liu
9+阅读 · 2018年5月16日
Top