简介:

在这篇文章中,我们解释了一种贝叶斯方法来推断干预或行动的影响。我们表明,在标准贝叶斯方法内表示因果关系易处理和不可能查询之间的边界,并开辟了潜在的因果推理新方法。这篇文章是我们Arxiv论文的详细但非正式的介绍:用贝叶斯规则代替do演算,用贝叶斯规则代替因果推论。

因果关系-它是什么以及如何推断-一直是机器学习和统计学中最具争议的主题之一。最近出版的《Book of Why》重新引发了关于是否可以在标准贝叶斯建模范式中进行因果推断或是否需要根本不同方法的争论,这一争论由来已久。这场辩论始于90年代的Pearl和Rubin之间,一直持续到今天-尤其是在Andrew Gelman的博客上-参见Gelman和Pearl。在本文中,我们讨论了一些旨在弥合这场辩论的近期工作。

下图将观察到的因果推论与标准统计进行了对比。 在标准统计问题中,我们具有由某些系统生成的数据,并且我们希望使用该数据来推断系统的某些属性。 在观察性因果推论中,我们要使用一个系统(在某些干预之前的系统)生成的数据来推断另一系统(在干预之后的系统)的属性。 这就要求我们对这两个系统之间的关系做出假设(或等效地,干预如何改变原始系统),并对这些假设进行建模,以确定从系统A采样的哪些数据可以告诉我们有关系统B的信息。

成为VIP会员查看完整内容
0
31

相关内容

贝叶斯推断(BAYESIAN INFERENCE)是一种应用于不确定性条件下的决策的统计方法。贝叶斯推断的显著特征是,为了得到一个统计结论能够利用先验信息和样本信息。

题目: Causal Relational Learning

摘要:

因果推理是自然科学和社会科学实证研究的核心,对科学发现和知情决策至关重要。因果推理的黄金标准是进行随机对照试验;不幸的是,由于伦理、法律或成本的限制,这些方法并不总是可行的。作为一种替代方法,从观察数据中进行因果推断的方法已经在统计研究和社会科学中得到发展。然而,现有的方法严重依赖于限制性的假设,例如由同质元素组成的研究总体,这些同质元素可以在一个单平表中表示,其中每一行都被称为一个单元。相反,在许多实际环境中,研究领域自然地由具有复杂关系结构的异构元素组成,其中数据自然地表示为多个相关表。在本文中,从关系数据中提出了一个正式的因果推理框架。我们提出了一种称为CaRL的声明性语言,用于捕获因果背景知识和假设,并使用简单的Datalog类规则指定因果查询。CaRL为在关系领域中推断复杂干预的影响的因果关系和推理提供了基础。我们对真实的关系数据进行了广泛的实验评估,以说明CaRL理论在社会科学和医疗保健领域的适用性。

成为VIP会员查看完整内容
0
113

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
318

数十年来,因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前,与随机对照试验相比,利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向,因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展,各种针对观测数据的因果关系估计方法层出不穷。在这项调查中,我们提供了一个全面的综述因果推理方法下的潜在结果框架,一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类,分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用,包括在广告、推荐、医药等方面的应用。此外,还总结了常用的基准数据集和开放源代码,便于研究者和实践者探索、评价和应用因果推理方法。

地址:

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

成为VIP会员查看完整内容
0
146

题目: Causal Inference and Stable Learning

简介:

在一个常见的机器学习问题中,使用一个根据训练数据集估计的模型,根据观察到的特征来预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常利用特征之间微妙的统计关系,这使得它们在应用于测试数据时更容易出现预测错误,因为测试数据的分布与训练数据的分布不同。对于学术研究和实际应用来说,如何建立稳定、可靠的学习模型是至关重要的。因果推理是一种强大的统计建模工具,用于解释和稳定的学习。因果推理是指基于某一效应发生的条件,对某一因果关系做出结论的过程。在本教程中,我们将重点讨论因果推理和稳定学习,旨在从观察数据中探索因果知识,以提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推理,并介绍一些最近的数据驱动的方法来估计因果效应的观测数据,特别是在高维设置。摘要为了弥补因果推理与机器学习在稳定学习上的差距,我们首先给出了学习算法的稳定性和鲁棒性的定义,然后介绍了一些最近出现的稳定学习算法,以提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来方向,并为稳定学习提供基准。

邀请嘉宾:

张潼,香港科技大学计算机科学与数学教授。此前,他是罗格斯大学(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和腾讯(Tencent)工作。张潼的研究兴趣包括机器学习算法和理论、大数据统计方法及其应用。他是ASA和IMS的研究员,曾在主要机器学习期刊的编委会和顶级机器学习会议的项目委员会任职。张潼在康奈尔大学获得数学和计算机科学学士学位,在斯坦福大学获得计算机科学博士学位。

崔鹏,清华大学计算机系长聘副教授,博士生导师。2010年于清华大学计算机系获得博士学位。研究兴趣包括社会动力学建模、大规模网络表征学习以及大数据驱动的因果推理和稳定预测。近5年在数据挖掘及人工智能领域高水平会议和期刊发表论文60余篇,曾5次获得顶级国际会议或期刊论文奖,并先后两次入选数据挖掘领域顶级国际会议KDD最佳论文专刊。目前担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM中国新星奖。入选中组部万人计划青年拔尖人才,并当选中国科协全国委员会委员。

成为VIP会员查看完整内容
0
120
小贴士
相关VIP内容
专知会员服务
113+阅读 · 2020年4月21日
自动结构变分推理,Automatic structured variational inference
专知会员服务
30+阅读 · 2020年2月10日
相关论文
Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang
78+阅读 · 2020年2月5日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
Keyphrase Generation for Scientific Articles using GANs
Avinash Swaminathan,Raj Kuwar Gupta,Haimin Zhang,Debanjan Mahata,Rakesh Gosangi,Rajiv Ratn Shah
7+阅读 · 2019年9月24日
Jingkang Wang,Yang Liu,Bo Li
3+阅读 · 2018年10月5日
Stephen Bonner,Flavian Vasile
17+阅读 · 2018年8月3日
KiJung Yoon,Renjie Liao,Yuwen Xiong,Lisa Zhang,Ethan Fetaya,Raquel Urtasun,Richard Zemel,Xaq Pitkow
3+阅读 · 2018年5月25日
K. Lakshmanan
6+阅读 · 2018年4月24日
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
5+阅读 · 2018年4月22日
Chris Cremer,Xuechen Li,David Duvenaud
3+阅读 · 2018年1月10日
Top