这新版本的教科书/参考提供了从工程的角度对概率图模型(PGMs)的介绍。它提供了关于马尔科夫决策过程、图模型和深度学习的新材料,以及更多的练习。

这本书涵盖了PGM的每个主要类的基础知识,包括表示、推理和学习原理,并回顾了每种类型的模型的实际应用。这些应用来自广泛的学科,突出了贝叶斯分类器、隐藏马尔可夫模型、贝叶斯网络、动态和时间贝叶斯网络、马尔可夫随机场、影响图和马尔可夫决策过程的许多使用。

概率图模型(PGMs)及其在不确定性下进行智能推理的应用出现于20世纪80年代的统计和人工智能推理领域。人工智能的不确定性(UAI)会议成为这一蓬勃发展的研究领域的首要论坛。20岁的时候,我在圣何塞的UAI-92大学第一次见到了恩里克·苏卡——我们都是研究生——在那里,他展示了他关于高层次视觉推理的关系和时间模型的研究成果。在过去的25年里,Enrique对我们的领域做出了令人印象深刻的研究贡献,从客观概率的基础工作,到开发时态和事件贝叶斯网络等高级形式的PGMS,再到PGMS的学习,例如,他的最新研究成果是用于多维分类的贝叶斯链分类器。

概率图模型作为一种强大而成熟的不确定性推理技术已被广泛接受。与早期专家系统中采用的一些特殊方法不同,PGM基于图和概率论的强大数学基础。它们可用于广泛的推理任务,包括预测、监测、诊断、风险评估和决策。在开源软件和商业软件中有许多有效的推理和学习算法。此外,它们的力量和功效已通过其成功应用于大量现实世界的问题领域而得到证明。Enrique Sucar是PGM作为实用和有用技术建立的主要贡献者,他的工作跨越了广泛的应用领域。这些领域包括医学、康复和护理、机器人和视觉、教育、可靠性分析以及从石油生产到发电厂的工业应用。

成为VIP会员查看完整内容
0
58

相关内容

近年来,机器学习取得了显著进展,提供了一些新功能,比如创建复杂的、可计算的文本和图像表示。这些功能催生了新产品,如基于图像内容的图像搜索、多种语言之间的自动翻译,甚至是真实图像和声音的合成。同时,机器学习已经在企业中被广泛采用,用于经典的用例(例如,预测客户流失、贷款违约和制造设备故障)。

在机器学习取得成功的地方,它是非常成功的。

在许多情况下,这种成功可以归因于对大量训练数据的监督学习(结合大量计算)。总的来说,有监督的学习系统擅长于一项任务:预测。当目标是预测一个结果,并且我们有很多这个结果的例子,以及与它相关的特征时,我们可能会转向监督学习。

随着机器学习的普及,它在业务流程中的影响范围已经从狭窄的预测扩展到决策制定。机器学习系统的结果经常被用来设定信用限额,预测制造设备故障,以及管理我们的各种新闻推送。当个人和企业试图从这些复杂和非线性系统提供的信息中学习时,更多(和更好)的可解释性方法已经被开发出来,这是非常重要的。

然而,仅仅基于预测的推理有一些基本的限制。例如,如果银行提高客户的信用额度会发生什么?这些问题不能用建立在先前观察到的数据上的相关模型来回答,因为它们涉及到客户选择的可能变化,作为对信用限额变化的反应。在很多情况下,我们的决策过程的结果是一种干预——一种改变世界的行动。正如我们将在本报告中展示的,纯粹相关的预测系统不具备在这种干预下进行推理的能力,因此容易产生偏差。对于干预下的数据决策,我们需要因果关系。

即使对于纯粹的预测系统(这是监督学习的强项),应用一些因果思维也会带来好处。根据因果关系的定义,它们是不变的,这意味着它们在不同的情况和环境中都是正确的。对于机器学习系统来说,这是一个非常理想的特性,在机器学习系统中,我们经常根据我们在训练中没有看到的数据进行预测;我们需要这些系统具有适应性和健壮性。

因果推理和机器学习的交集是一个迅速扩展的研究领域。它已经产生了可供主流采用的功能——这些功能可以帮助我们构建更健壮、可靠和公平的机器学习系统。

本书介绍了因果推理,因为它涉及很多数据科学和机器学习工作。我们引入因果图,着重于消除理解的概念障碍。然后我们利用这个理解来探索关于不变预测的最新想法,它给高维问题带来了因果图的一些好处。通过附带的原型,我们展示了即使是经典的机器学习问题,如图像分类,也可以从因果推理工具中受益。

成为VIP会员查看完整内容
0
120

矩阵代数是数据分析和统计理论中最重要的数学领域之一。这本书的第一部分为统计中的应用提出矩阵代数的理论的相关方面。本部分从向量和向量空间的基本概念开始,接着介绍矩阵的基本代数性质,然后描述向量和矩阵在多元演算中的解析性质,最后讨论线性系统解和特征分析中矩阵的运算。这部分基本上是独立的。

本书的第二部分开始考虑在统计中遇到的各种类型的矩阵,例如投影矩阵和正定矩阵,并描述这些矩阵的特殊性质。第二部分也介绍了矩阵理论在统计中的一些应用,包括线性模型、多元分析和随机过程。本部分说明了在本书第一部分中发展的矩阵理论。书的前两个部分可以作为为统计学生的矩阵代数课程的文本,或作为在线性模型或多元统计的各种课程的补充文本。

这本书的第三部分涵盖了数值线性代数。它以数值计算的基础讨论开始,然后描述精确和有效的算法因式分解矩阵,求解线性方程组,并提取特征值和特征向量。虽然这本书没有捆绑到任何特定的软件系统,它描述并给出了使用数字线性代数的现代计算机软件的例子。这部分基本上是自包含的,尽管它假设有一些能力用Fortran或C编程和/或使用R/S-Plus或Matlab的能力。书的这一部分可以作为在统计计算中的一门课程的文本使用,或者作为强调计算的各种课程的补充文本。

这本书包括大量的练习,并在附录中提供了一些解决方案。

James E. Gentle是乔治梅森大学计算统计学教授。他是美国统计协会(ASA)和美国科学促进会的会员。他曾在美国标准局担任过几个国家职务并担任过美国标准局期刊的副主编以及其他统计和计算期刊的副主编。他是随机数生成和蒙特卡罗方法,第二版,和计算统计元素的作者。

成为VIP会员查看完整内容
0
70

这本书是在2020年夏天在提供“CSE 312: Foundations of Computing II”期间写的,它本质上是为计算机科学家提供的概率和统计。课程是以这门课程和斯坦福大学的“CS 109:计算机科学家的概率”为基础的。我坚信编写应用程序(包含在第9章中)对于展示为什么这门课是计算机科学的核心要求是必要的。这本教科书目前正在华盛顿大学(2020年秋季)使用。

https://courses.cs.washington.edu/courses/cse312/21wi/

成为VIP会员查看完整内容
0
36

前言 在这本书中,我们从图形模型的基础知识、它们的类型、为什么使用它们以及它们解决了什么类型的问题开始。然后我们在图形模型的上下文中探索子问题,例如它们的表示、构建它们、学习它们的结构和参数,以及使用它们回答我们的推理查询。

这本书试图提供足够的理论信息,然后使用代码示例窥视幕后,以了解一些算法是如何实现的。代码示例还提供了一个方便的模板,用于构建图形模型和回答概率查询。在文献中描述的许多种类的图形模型中,这本书主要关注离散贝叶斯网络,偶尔也有来自马尔科夫网络的例子。

内容概述

  • 第一章:概率论,涵盖了理解图形模型所需的概率论的概念。

  • 第2章:有向图形模型,提供了关于贝叶斯网络的信息,他们的属性相关的独立性,条件独立性,和D分离。本章使用代码片段加载贝叶斯网络并理解其独立性。

  • 第三章:无向图模型,介绍了马尔可夫网络的性质,马尔可夫网络与贝叶斯网络的区别,以及马尔可夫网络的独立性。

  • 第四章:结构学习,涵盖了使用数据集来推断贝叶斯网络结构的多种方法。我们还学习了结构学习的计算复杂性,并在本章使用代码片段来学习抽样数据集中给出的结构。

  • 第5章:参数学习,介绍了参数学习的最大似然法和贝叶斯方法。

  • 第6章:使用图形模型的精确推理,解释了精确推理的变量消除算法,并探索了使用相同算法回答我们的推理查询的代码片段。

  • 第7章:近似推理方法,探讨了网络太大而无法进行精确推理的近似推理。我们还将通过在马尔科夫网络上使用循环信念传播运行近似推论的代码样本。

目录

成为VIP会员查看完整内容
0
74

这本书的第五版继续讲述如何运用概率论来深入了解真实日常的统计问题。这本书是为工程、计算机科学、数学、统计和自然科学的学生编写的统计学、概率论和统计的入门课程。因此,它假定有基本的微积分知识。

第一章介绍了统计学的简要介绍,介绍了它的两个分支:描述统计学和推理统计学,以及这门学科的简短历史和一些人,他们的早期工作为今天的工作提供了基础。

第二章将讨论描述性统计的主题。本章展示了描述数据集的图表和表格,以及用于总结数据集某些关键属性的数量。

为了能够从数据中得出结论,有必要了解数据的来源。例如,人们常常假定这些数据是来自某个总体的“随机样本”。为了确切地理解这意味着什么,以及它的结果对于将样本数据的性质与整个总体的性质联系起来有什么意义,有必要对概率有一些了解,这就是第三章的主题。本章介绍了概率实验的思想,解释了事件概率的概念,并给出了概率的公理。

我们在第四章继续研究概率,它处理随机变量和期望的重要概念,在第五章,考虑一些在应用中经常发生的特殊类型的随机变量。给出了二项式、泊松、超几何、正规、均匀、伽玛、卡方、t和F等随机变量。

成为VIP会员查看完整内容
2
118

这本教科书通过提供实用的建议,使用直接的例子,并提供相关应用的引人入胜的讨论,以一种容易理解的方式介绍了基本的机器学习概念。主要的主题包括贝叶斯分类器,最近邻分类器,线性和多项式分类器,决策树,神经网络,和支持向量机。后面的章节展示了如何通过“推进”的方式结合这些简单的工具,如何在更复杂的领域中利用它们,以及如何处理各种高级的实际问题。有一章专门介绍流行的遗传算法。

这个修订的版本包含关于工业中机器学习的实用应用的关键主题的三个全新的章节。这些章节研究了多标签域,无监督学习和它在深度学习中的使用,以及归纳逻辑编程的逻辑方法。许多章节已经被扩展,并且材料的呈现已经被增强。这本书包含了许多新的练习,许多解决的例子,深入的实验,和独立工作的计算机作业。

https://link.springer.com/book/10.1007/978-3-319-63913-0#about

成为VIP会员查看完整内容
0
128

作为布尔逻辑的替代

虽然逻辑是理性推理的数学基础和计算的基本原理,但它仅限于信息既完整又确定的问题。然而,许多现实世界的问题,从金融投资到电子邮件过滤,本质上是不完整或不确定的。概率论和贝叶斯计算共同提供了一个处理不完整和不确定数据的框架。

不完全和不确定数据的决策工具和方法

贝叶斯编程强调概率是布尔逻辑的替代选择,它涵盖了为真实世界的应用程序构建概率程序的新方法。本书由设计并实现了一个高效概率推理引擎来解释贝叶斯程序的团队编写,书中提供了许多Python示例,这些示例也可以在一个补充网站上找到,该网站还提供了一个解释器,允许读者试验这种新的编程方法。

原则和建模

只需要一个基本的数学基础,本书的前两部分提出了一种新的方法来建立主观概率模型。作者介绍了贝叶斯编程的原理,并讨论了概率建模的良好实践。大量简单的例子突出了贝叶斯建模在不同领域的应用。

形式主义和算法

第三部分综合了已有的贝叶斯推理算法的工作,因为需要一个高效的贝叶斯推理引擎来自动化贝叶斯程序中的概率演算。对于想要了解贝叶斯编程的形式主义、主要的概率模型、贝叶斯推理的通用算法和学习问题的读者,本文提供了许多参考书目。

常见问题

第四部分连同词汇表包含了常见问题的答案。作者比较了贝叶斯规划和可能性理论,讨论了贝叶斯推理的计算复杂性,讨论了不完全性的不可约性,讨论了概率的主观主义和客观主义认识论。

贝叶斯计算机的第一步

创建一个完整的贝叶斯计算框架需要新的建模方法、新的推理算法、新的编程语言和新的硬件。本书着重于方法论和算法,描述了实现这一目标的第一步。它鼓励读者探索新兴领域,例如仿生计算,并开发新的编程语言和硬件架构。

成为VIP会员查看完整内容
0
140

这个可访问的文本/参考提供了从工程角度对概率图模型(PGMs)的一般介绍。这本书涵盖了每一个PGMs的主要类的基础知识,包括表示、推理和学习原则,并回顾了每种类型模型的实际应用。这些应用来自广泛的学科领域,突出了贝叶斯分类器、隐马尔可夫模型、贝叶斯网络、动态和时态贝叶斯网络、马尔可夫随机域、影响图和马尔可夫决策过程的多种用途。

提出了一个统一的框架,包括所有的主要类别的PGMs;描述不同技术的实际应用;检视该领域的最新发展,包括多维贝叶斯分类器、相关图模型和因果模型;在每一章的结尾提供练习,进一步阅读的建议,和研究或编程项目的想法。

成为VIP会员查看完整内容
0
68

概率图模型是机器学习中的一种技术,它使用图论的概念来简明地表示和最佳地预测数据问题中的值。

图模型为我们提供了在数据中发现复杂模式的技术,广泛应用于语音识别、信息提取、图像分割和基因调控网络建模等领域。

这本书从概率论和图论的基础开始,然后继续讨论各种模型和推理算法。所有不同类型的模型都将与代码示例一起讨论,以创建和修改它们,并在它们上运行不同的推理算法。有一整章是关于朴素贝叶斯模型和隐马尔可夫模型的。这些模型已经通过实际例子进行了详细的讨论。

你会学到什么

  • 掌握概率论和图论的基本知识
  • 使用马尔可夫网络
  • 实现贝叶斯网络
  • 图模型中的精确推理技术,如变量消除算法
  • 了解图模型中的近似推理技术,如消息传递算法

图模型中的示例算法 通过真实的例子来掌握朴素贝叶斯的细节 使用Python中的各种库部署PGMs 获得隐马尔可夫模型的工作细节与现实世界的例子

详细 概率图模型是机器学习中的一种技术,它使用图论的概念来简洁地表示和最佳地预测数据问题中的值。在现实问题中,往往很难选择合适的图模型和合适的推理算法,这对计算时间和精度有很大的影响。因此,了解这些算法的工作细节是至关重要的。

这本书从概率论和图论的基础开始,然后继续讨论各种模型和推理算法。所有不同类型的模型都将与代码示例一起讨论,以创建和修改它们,并在它们上运行不同的推理算法。有一个完整的章节专门讨论最广泛使用的网络朴素贝叶斯模型和隐马尔可夫模型(HMMs)。这些模型已经通过实际例子进行了详细的讨论。

风格和方法 一个易于遵循的指南,帮助您理解概率图模型使用简单的例子和大量的代码例子,重点放在更广泛使用的模型。

成为VIP会员查看完整内容
0
134
小贴士
相关主题
相关VIP内容
【干货书】用Python构建概率图模型,173页pdf
专知会员服务
74+阅读 · 2020年8月23日
专知会员服务
118+阅读 · 2020年7月28日
专知会员服务
131+阅读 · 2020年6月24日
【干货书】《机器学习导论(第二版)》,348页pdf
专知会员服务
128+阅读 · 2020年6月16日
专知会员服务
140+阅读 · 2020年5月18日
相关论文
Francesco Ventura,Salvatore Greco,Daniele Apiletti,Tania Cerquitelli
0+阅读 · 6月12日
Xingyu Zhao,Wei Huang,Xiaowei Huang,Valentin Robu,David Flynn
0+阅读 · 5月29日
Rajvir Kaur,Kenji Bekki,Ghulam Mubashar Hassan,Amitava Datta
0+阅读 · 5月16日
Baoyu Jing,Hanghang Tong,Yada Zhu
10+阅读 · 2月28日
Xuelu Chen,Muhao Chen,Weijia Shi,Yizhou Sun,Carlo Zaniolo
6+阅读 · 2019年2月26日
Alexander Jung
9+阅读 · 2018年8月19日
Holger R. Roth,Chen Shen,Hirohisa Oda,Masahiro Oda,Yuichiro Hayashi,Kazunari Misawa,Kensaku Mori
5+阅读 · 2018年3月23日
Top