因果推理是解释性分析的强大建模工具,它可使当前的机器学习变得可解释。如何将因果推理与机器学习相结合,开发可解释人工智能(XAI)算法,是迈向人工智能2.0的关键步骤之一。为了将因果推理的知识带给机器学习和人工智能领域的学者,我们邀请从事因果推理的研究人员,从因果推理的不同方面撰写了本综述。本综述包括以下几个部分:况琨博士的“平均因果效应评估——简要回顾与展望”,李廉教授的“反事实推理的归因问题”,耿直教授的“Yule-Simpson悖论和替代指标悖论”,徐雷教授的“因果发现CPT方法”,张坤教授的“从观测数据中发现因果关系”,廖备水和黄华新教授的“形式论辩在因果推理和解释中的作用”,丁鹏教授的“复杂实验中的因果推断”,苗旺教授的“观察性研究中的工具变量和阴性对照方法”,蒋智超博士的“有干扰下的因果推断”。

http://www.engineering.org.cn/ch/10.1016/j.eng.2019.08.016

成为VIP会员查看完整内容
0
32

相关内容

因果推断是研究如何更加科学地识别变量间的因果关系。 客观事物普遍存在着内在的因果联系,人们只有弄清事物发展变化的前因后果,才能全面地、本质地认识事物。基干事物发展的这种规律,在论证观点时,有时就可以直接从事物本身的因果关系中进行推论,这就叫因果推断法

近年来,机器学习取得了显著进展,提供了一些新功能,比如创建复杂的、可计算的文本和图像表示。这些功能催生了新产品,如基于图像内容的图像搜索、多种语言之间的自动翻译,甚至是真实图像和声音的合成。同时,机器学习已经在企业中被广泛采用,用于经典的用例(例如,预测客户流失、贷款违约和制造设备故障)。

在机器学习取得成功的地方,它是非常成功的。

在许多情况下,这种成功可以归因于对大量训练数据的监督学习(结合大量计算)。总的来说,有监督的学习系统擅长于一项任务:预测。当目标是预测一个结果,并且我们有很多这个结果的例子,以及与它相关的特征时,我们可能会转向监督学习。

随着机器学习的普及,它在业务流程中的影响范围已经从狭窄的预测扩展到决策制定。机器学习系统的结果经常被用来设定信用限额,预测制造设备故障,以及管理我们的各种新闻推送。当个人和企业试图从这些复杂和非线性系统提供的信息中学习时,更多(和更好)的可解释性方法已经被开发出来,这是非常重要的。

然而,仅仅基于预测的推理有一些基本的限制。例如,如果银行提高客户的信用额度会发生什么?这些问题不能用建立在先前观察到的数据上的相关模型来回答,因为它们涉及到客户选择的可能变化,作为对信用限额变化的反应。在很多情况下,我们的决策过程的结果是一种干预——一种改变世界的行动。正如我们将在本报告中展示的,纯粹相关的预测系统不具备在这种干预下进行推理的能力,因此容易产生偏差。对于干预下的数据决策,我们需要因果关系。

即使对于纯粹的预测系统(这是监督学习的强项),应用一些因果思维也会带来好处。根据因果关系的定义,它们是不变的,这意味着它们在不同的情况和环境中都是正确的。对于机器学习系统来说,这是一个非常理想的特性,在机器学习系统中,我们经常根据我们在训练中没有看到的数据进行预测;我们需要这些系统具有适应性和健壮性。

因果推理和机器学习的交集是一个迅速扩展的研究领域。它已经产生了可供主流采用的功能——这些功能可以帮助我们构建更健壮、可靠和公平的机器学习系统。

本书介绍了因果推理,因为它涉及很多数据科学和机器学习工作。我们引入因果图,着重于消除理解的概念障碍。然后我们利用这个理解来探索关于不变预测的最新想法,它给高维问题带来了因果图的一些好处。通过附带的原型,我们展示了即使是经典的机器学习问题,如图像分类,也可以从因果推理工具中受益。

成为VIP会员查看完整内容
0
104

因果学习

因果推理在许多领域都很重要,包括科学、决策制定和公共政策。确定因果关系的金标准方法使用随机控制扰动实验。然而,在许多情况下,这样的实验是昂贵的、耗时的或不可能的。从观察数据中获得因果信息是可替代的一种选择,也就是说,从通过观察感兴趣系统获得的数据中获得而不使其受到干预。在这次演讲中,我将讨论从观察数据中进行因果学习的方法,特别关注因果结构学习和变量选择的结合,目的是估计因果效果。我们将用例子来说明这些概念。

成为VIP会员查看完整内容
0
78

【导读】对因果推理发展的研究广泛地集中于实现两个目标: 理解因果推理的起源,以及检验因果推理如何随着发展而变化。41页因果推理发展综述《The Development of Causal Reasoning》回顾了旨在实现这两个目标的证据和理论。

41页因果推理发展综述《The Development of Causal Reasoning》回顾了因果推理发展相关的研究,综述链接:

综述摘要 对因果推理发展的研究广泛地集中于实现两个目标: 理解因果推理的起源,以及检验因果推理如何随着发展而变化。本书回顾了旨在实现这两个目标的证据和理论。在第一节中,它着重于探索世界上认识因果事件的可能先例的研究,回顾早期因果推理的三种不同机制的证据:物理启动事件,行动者及其行动,以及共变信息。本书的第二部分考察了年龄稍大的孩子如何了解特定的因果关系的问题。它着重于统计证据的模式在引导学习因果结构方面的作用,表明即使是非常年幼的儿童也利用强烈的数据模式的归纳偏差来提供他们关于因果事件的推论,并讨论儿童的自发游戏如何支持因果学习。

综述内容 因果关系在人类认知中扮演着重要的角色,并且长期以来一直是许多发展研究人员感兴趣的话题——因果推理被认为是生理、心理和生物世界早期学习的一个中心方面。此外,因果推理在早期社会发展的许多理论中都有涉及,包括心智和道德的概念和理论的发展。因果表征也是许多语言意义理论的中心,也是早期语言习得研究的一个感兴趣的领域。最后,研究者研究了因果学习在解释发展中的作用。

对因果推理发展的研究广泛地集中于实现两个目标: 理解因果推理的起源,以及因果推理是如何随着发展而变化的。因此,该书回顾了旨在实现这两个目标的证据和理论。在第一部分中,该书主要探讨认识世界上因果事件的可能先例的研究。早期关于可能的因果关系的概念与更广泛的认知事件因果关系的抽象框架有什么关系? 该书回顾了早期因果推理中三种不同机制的证据——物理启动事件、主体及其行为和共变信息——并讨论了如何将这些机制整合到开发中。本书的第二部分主要关注年龄稍大的孩子如何了解特定的因果关系。想当然地认为孩子们认识到一个事件涉及因果关系,那么孩子们是如何了解一个系统中因果关系的具体力量和性质的呢?本书关注统计证据模式在引导学习因果结构中的作用,并指出证据表明儿童将这些证据与他们发展中的归纳偏见结合在一起。

目录:

  • 因果推理的起源
    • 因果推理产生于运动事件的表征
    • 因果推理产生于行为人及其行为的表征
    • 从协变信息进行因果推理
    • 协调不同的账目
  • 在幼儿时期学习特定的因果关系
    • 领域特定的机制信息
    • 统计学习
    • 协调统计方法和领域特定方法
    • 领域知识之外的归纳约束
    • 儿童的因果推理的讨论
  • 因果探索与发现
  • 一般结论和开放问题
成为VIP会员查看完整内容
0
55

在一个常见的机器学习问题中,使用对训练数据集估计的模型,根据观察到的特征预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常会利用特征之间微妙的统计关系,这使得它们在应用于分布与训练数据不同的测试数据时,可能更容易出现预测错误。对于学术研究和实际应用来说,如何开发能够稳定和稳健地转换数据的学习模型是至关重要的。

因果推理是指根据效果发生的条件得出因果关系的结论的过程,是一种强大的统计建模工具,用于解释和稳定学习。本教程侧重于因果推理和稳定学习,旨在从观察数据中探索因果知识,提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推论,并介绍一些最近的数据驱动方法,以估计因果效应从观测数据,特别是在高维设置。为了弥补因果推理和机器学习之间的差距,我们首先给出了稳定性和鲁棒性学习算法的定义,然后将介绍一些最近的稳定学习算法来提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来的发展方向,并提供稳定学习的基准。

http://kdd2020tutorial.thumedialab.com/

成为VIP会员查看完整内容
0
43

有几个主要的主题贯穿全书。这些主题主要是对两个不同类别的比较。当你阅读的时候,很重要的一点是你要明白书的不同部分适合什么类别,不适合什么类别。

统计与因果。即使有无限多的数据,我们有时也无法计算一些因果量。相比之下,很多统计是关于在有限样本中解决不确定性的。当给定无限数据时,没有不确定性。然而,关联,一个统计概念,不是因果关系。在因果推理方面还有更多的工作要做,即使在开始使用无限数据之后也是如此。这是激发因果推理的主要区别。我们在这一章已经做了这样的区分,并将在整本书中继续做这样的区分。

识别与评估。因果效应的识别是因果推论所独有的。这是一个有待解决的问题,即使我们有无限的数据。然而,因果推理也与传统统计和机器学习共享估计。我们将主要从识别因果效应(在第2章中,4和6)之前估计因果效应(第7章)。例外是2.5节和节4.6.2,我们进行完整的例子估计给你的整个过程是什么样子。

介入与观察。如果我们能进行干预/实验,因果效应的识别就相对容易了。这很简单,因为我们可以采取我们想要衡量因果效应的行动,并简单地衡量我们采取行动后的效果。观测数据变得更加复杂,因为数据中几乎总是引入混杂。

假设。将会有一个很大的焦点是我们用什么假设来得到我们得到的结果。每个假设都有自己的框来帮助人们注意到它。清晰的假设应该使我们很容易看到对给定的因果分析或因果模型的批评。他们希望,清晰地提出假设将导致对因果关系的更清晰的讨论。

https://www.bradyneal.com/causal-inference-course

成为VIP会员查看完整内容
0
113

管理统计和数据科学的原理包括:数据可视化;描述性措施;概率;概率分布;数学期望;置信区间;和假设检验。方差分析;简单线性回归;多元线性回归也包括在内。另外,本书还提供了列联表、卡方检验、非参数方法和时间序列方法。

教材:

  • 包括通常在入门统计学课程中涵盖的学术材料,但与数据科学扭曲,较少强调理论
  • 依靠Minitab来展示如何用计算机执行任务
  • 展示并促进来自开放门户的数据的使用
  • 重点是发展对程序如何工作的直觉
  • 让读者了解大数据的潜力和目前使用它的失败之处
成为VIP会员查看完整内容
1
79

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
256

数十年来,因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前,与随机对照试验相比,利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向,因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展,各种针对观测数据的因果关系估计方法层出不穷。在这项调查中,我们提供了一个全面的综述因果推理方法下的潜在结果框架,一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类,分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用,包括在广告、推荐、医药等方面的应用。此外,还总结了常用的基准数据集和开放源代码,便于研究者和实践者探索、评价和应用因果推理方法。

地址:

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

成为VIP会员查看完整内容
0
124
小贴士
相关论文
Fernanda Madeiral,Thomas Durieux
0+阅读 · 4月6日
Matthew Harrison-Trainor,Wesley H. Holliday,Thomas F. Icard III
0+阅读 · 4月6日
Dean Zadok,Daniel McDuff,Ashish Kapoor
0+阅读 · 4月4日
Logic Rules Powered Knowledge Graph Embedding
Pengwei Wang,Dejing Dou,Fangzhao Wu,Nisansa de Silva,Lianwen Jin
6+阅读 · 2019年3月9日
Implicit Maximum Likelihood Estimation
Ke Li,Jitendra Malik
6+阅读 · 2018年9月24日
Deep Learning
Nicholas G. Polson,Vadim O. Sokolov
3+阅读 · 2018年8月3日
Chiyuan Zhang,Oriol Vinyals,Remi Munos,Samy Bengio
7+阅读 · 2018年4月20日
Lei Zhang,Shuai Wang,Bing Liu
23+阅读 · 2018年1月24日
Yann N. Dauphin,Angela Fan,Michael Auli,David Grangier
5+阅读 · 2017年9月8日
Top