对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
317

相关内容

因果推断是研究如何更加科学地识别变量间的因果关系。 客观事物普遍存在着内在的因果联系,人们只有弄清事物发展变化的前因后果,才能全面地、本质地认识事物。基干事物发展的这种规律,在论证观点时,有时就可以直接从事物本身的因果关系中进行推论,这就叫因果推断法

前言

计算机是如何解决问题的?你的小GPS怎么能在无数可能的路线中找到最快的到达目的地的路线,而且只需要几秒钟?当你在网上购物时,如何保护你的信用卡号码不被人截获? 这些问题的答案,以及其他许多问题的答案,就是算法。我写这本书是为了为你解开算法的奥秘。我与人合著了教科书《算法导论》。这是一本神奇的书(当然,我是有偏见的),但它在某些方面相当专业。这本书不是算法导论。甚至都不是教科书。它既不广泛也不深入计算机算法领域,它没有规定地教授设计计算机算法的技术,它包含为读者解决一个问题或练习。那么这本书到底是什么呢? 这是一个你可以开始的地方,如果

  • 你对计算机如何解决问题感兴趣。
  • 你想知道如何评估这些解决方案的质量。
  • 你想知道计算中的问题和解决问题的方法是如何与非计算机世界相联系的。
  • 你可以处理一些数学问题,而且你没有必要编写过计算机程序(尽管编写过程序也无妨)。

一些关于计算机算法的书是概念性的,很少有技术细节。有些书充满了技术上的精确性。有些介于两者之间。每一种类型的书都有自己的位置。我会把这本书放在中间类别。是的,它有一些数学,而且在某些地方变得相当精确,但我避免深入讨论细节(除了可能在书的最后,我无法控制自己)。 我觉得这本书有点像一道开胃菜。假设你去一家意大利餐馆点了一份开胃菜,吃完再决定是否点剩下的菜。它来了,你吃了它。也许你不喜欢开胃菜,决定不点别的。也许你喜欢它,但是它让你觉得很饱,所以你不需要点其他东西。也许你喜欢开胃菜,但它并没有填饱你的肚子,你期待着这顿饭剩下的部分。把这本书当作开胃菜,我希望能得到后两种结果中的一种: 要么你读了这本书,感到满意,觉得没必要再深入研究算法的世界; 或者你非常喜欢你在这里读到的东西,想要了解更多。每一章的结尾都有一个标题为“进一步阅读”的章节,它将引导你阅读深入主题的书籍和文章。

你能从这本书中学到什么?

我不能告诉你你将从这本书中学到什么。以下是我想让你从这本书中学到的东西:

  • 计算机算法是什么,描述它们的一种方式,以及如何评估它们。
  • 在计算机中搜索信息的简单方法。
  • 在计算机中重新排列信息,使其按规定顺序排列的方法。(我们称这个任务为排序)
  • 如何解决基本问题,我们可以在计算机中建模的数学结构称为图。在许多应用中,图的建模公路网络(其他路口十字路口有直接的道路,这些道路和多久?),任务之间的依赖关系(任务必须先于其他任务?),财务关系(所有世界货币之间的汇率是什么?),或人们之间的交互(谁知道谁?谁恨谁?哪个演员和哪个演员演了一部电影?)
  • 如何解决关于文本字符字符串的问题。其中一些问题在生物学等领域有应用,其中字符代表碱基分子,字符串代表DNA结构。密码学背后的基本原理。即使你自己从未加密过信息,你的电脑也可能加密过(比如你在网上购物时)。数据压缩的基本思想,远远超出了“f u cn rd th u cn gt a gd jb n gd pay”。
  • 有些问题很难在合理的时间内用电脑解决,或者至少没有人知道如何解决。

目录

  1. What Are Algorithms and Why Should You Care?(什么是算法?你为什么要关心它?)
  2. How to Describe and Evaluate Computer Algorithms(如何描述和评估计算机算法?)
  3. Algorithms for Sorting and Searching(排序和搜索算法)
  4. A Lower Bound for Sorting and How to Beat It(排序的下界以及如何超越它)
  5. Directed Acyclic Graphs(有向无环图)
  6. Shortest Paths(最短路径)
  7. Algorithms on Strings(字符串算法)
  8. Foundations of Cryptography(密码学基础)
  9. Data Compression(数据压缩)
  10. Hard? Problems(难?问题)
成为VIP会员查看完整内容
Algorithm unlocked.pdf
0
93

这本书全面介绍优化工程系统设计的实用算法。这本书从工程的角度进行优化,其目标是设计一个系统来优化受约束的一组指标。读者将学习一系列挑战的计算方法,包括高维搜索空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。图表、例子和练习传达了数学方法背后的直觉。文本提供了Julia编程语言的具体实现。

https://mitpress.mit.edu/books/algorithms-optimization

许多学科的核心都涉及到优化。在物理学中,系统被驱动到他们的最低能量状态服从物理定律。在商业上,公司的目标是股东价值最大化。在生物学中,越健康的生物体越有可能生存下来。这本书将从工程的角度关注优化,目标是设计一个系统来优化受约束的一组指标。这个系统可以是一个复杂的物理系统,比如飞机,也可以是一个简单的结构,比如自行车车架。这个系统甚至可能不是物理的;例如,我们可能会有兴趣为自动化车辆设计一个控制系统,或设计一个计算机视觉系统来检测肿瘤活检的图像是否为癌。我们希望这些系统能运行得尽可能好。根据应用程序的不同,相关的度量可能包括效率、安全性和准确性。对设计的限制可能包括成本、重量和结构坚固性。

这本书是关于优化的算法,或计算过程。给定系统设计的一些表示,如编码机翼几何的一组数字,这些算法将告诉我们如何搜索空间的可能设计,以找到最好的一个。根据应用程序的不同,这种搜索可能涉及运行物理实验,比如风洞测试,也可能涉及计算解析表达式或运行计算机模拟。我们将讨论解决各种挑战的计算方法,例如如何搜索高维空间,处理有多个竞争目标的问题,以及适应指标中的不确定性。

成为VIP会员查看完整内容
0
174

这本书来自统计学习课程,这是一门统计机器学习的入门课程,面向具有一些微积分、线性代数和统计学背景的学生。这门课程的重点是监督学习:分类和回归。本课程将涵盖机器学习和数据科学中使用的一系列方法,包括:

  • 线性回归(包括岭回归和Lasso)
  • 通过logistic回归和k近邻进行分类
  • 线性和二次判别分析
  • 回归和分类树(包括套袋林和随机林)
  • Boosting
  • 神经网络和深度学习

这些方法将在整个课程中被研究并应用于来自各种应用的真实数据。课程还涵盖了一些重要的实际问题,如交叉验证、模型选择和偏方差权衡。课程包括理论(例如,推导和证明)以及实践(特别是实验室和小型项目)。实际部分将使用Python实现。

成为VIP会员查看完整内容
0
113

本书涵盖了这些领域中使用Python模块演示的概率、统计和机器学习的关键思想。整本书包括所有的图形和数值结果,都可以使用Python代码及其相关的Jupyter/IPython Notebooks。作者通过使用多种分析方法和Python代码的有意义的示例,开发了机器学习中的关键直觉,从而将理论概念与具体实现联系起来。现代Python模块(如panda、y和Scikit-learn)用于模拟和可视化重要的机器学习概念,如偏差/方差权衡、交叉验证和正则化。许多抽象的数学思想,如概率论中的收敛性,都得到了发展,并用数值例子加以说明。本书适合任何具有概率、统计或机器学习的本科生,以及具有Python编程的基本知识的人。

成为VIP会员查看完整内容
0
154

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
123

决策理论是现代人工智能和经济学的基础。本课程主要从统计学的角度,也从哲学的角度,为决策理论打下坚实的基础。本课程有两个目的:

  • 深入了解统计决策理论、实验设计的自动化方法,并将其与人类决策联系起来。
  • 通过开发算法和智能代理的实验,将该理论应用到强化学习和人工智能的实际问题中。

课程可分为两部分。

  • 第一部分,我们介绍了主观概率和效用的概念,以及如何用它们来表示和解决决策问题。然后讨论未知参数的估计和假设检验。最后,我们讨论了顺序抽样、顺序实验,以及更一般的顺序决策。

  • 第二部分是不确定性下的决策研究,特别是强化学习和专家咨询学习。首先,我们研究几个有代表性的统计模型。然后,我们给出了使用这些模型做出最优决策的算法的概述。最后,我们来看看学习如何根据专家的建议来行动的问题,这个领域最近在在线广告、游戏树搜索和优化方面有很多应用。

成为VIP会员查看完整内容
0
116

本文件包含了图论和加法组合学的课程笔记,这是一门研究生水平的课程,由Yufei Zhao教授于2019年秋季在麻省理工学院讲授。课堂笔记是由学生根据课堂内容撰写的,并在教授的帮助下进行编辑。这些笔记没有经过彻底的准确性检查,特别是结果的出处。它们的目的是作为研究资源,而不是作为专业出版物的替代品。我们为任何无心的不准确或不实的陈述道歉。关于这门课的更多信息,包括习题和演讲视频(即将出现),可以在课程网站上找到:

http://yufeizhao.com/gtac/

本课程审查图论与加法组合学的经典与现代发展,并注重在连结这两门学科的主题。本课程也介绍学生目前的研究课题和开放问题。

成为VIP会员查看完整内容
0
37

这个可访问的文本/参考提供了从工程角度对概率图模型(PGMs)的一般介绍。这本书涵盖了每一个PGMs的主要类的基础知识,包括表示、推理和学习原则,并回顾了每种类型模型的实际应用。这些应用来自广泛的学科领域,突出了贝叶斯分类器、隐马尔可夫模型、贝叶斯网络、动态和时态贝叶斯网络、马尔可夫随机域、影响图和马尔可夫决策过程的多种用途。

提出了一个统一的框架,包括所有的主要类别的PGMs;描述不同技术的实际应用;检视该领域的最新发展,包括多维贝叶斯分类器、相关图模型和因果模型;在每一章的结尾提供练习,进一步阅读的建议,和研究或编程项目的想法。

成为VIP会员查看完整内容
0
75

本备忘单是机器学习手册的浓缩版,包含了许多关于机器学习的经典方程和图表,旨在帮助您快速回忆起机器学习中的知识和思想。

这个备忘单有两个显著的优点:

  1. 清晰的符号。数学公式使用了许多令人困惑的符号。例如,X可以是一个集合,一个随机变量,或者一个矩阵。这是非常混乱的,使读者很难理解数学公式的意义。本备忘单试图规范符号的使用,所有符号都有明确的预先定义,请参见小节。

  2. 更少的思维跳跃。在许多机器学习的书籍中,作者省略了数学证明过程中的一些中间步骤,这可能会节省一些空间,但是会给读者理解这个公式带来困难,读者会在中间迷失。

成为VIP会员查看完整内容
0
200
小贴士
相关论文
A Collective Learning Framework to Boost GNN Expressiveness
Mengyue Hang,Jennifer Neville,Bruno Ribeiro
19+阅读 · 2020年3月26日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
Deep Learning for Energy Markets
Michael Polson,Vadim Sokolov
4+阅读 · 2019年4月10日
Silvio Olivastri,Gurkirt Singh,Fabio Cuzzolin
5+阅读 · 2019年4月4日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Keyulu Xu,Weihua Hu,Jure Leskovec,Stefanie Jegelka
18+阅读 · 2018年10月1日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Kevin Scaman,Francis Bach,Sébastien Bubeck,Yin Tat Lee,Laurent Massoulié
7+阅读 · 2018年6月1日
Lijun Li,Boqing Gong
5+阅读 · 2018年3月21日
Zuxuan Wu,Ting Yao,Yanwei Fu,Yu-Gang Jiang
9+阅读 · 2018年2月22日
Top