在一个常见的机器学习问题中,使用对训练数据集估计的模型,根据观察到的特征预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常会利用特征之间微妙的统计关系,这使得它们在应用于分布与训练数据不同的测试数据时,可能更容易出现预测错误。对于学术研究和实际应用来说,如何开发能够稳定和稳健地转换数据的学习模型是至关重要的。

因果推理是指根据效果发生的条件得出因果关系的结论的过程,是一种强大的统计建模工具,用于解释和稳定学习。本教程侧重于因果推理和稳定学习,旨在从观察数据中探索因果知识,提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推论,并介绍一些最近的数据驱动方法,以估计因果效应从观测数据,特别是在高维设置。为了弥补因果推理和机器学习之间的差距,我们首先给出了稳定性和鲁棒性学习算法的定义,然后将介绍一些最近的稳定学习算法来提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来的发展方向,并提供稳定学习的基准。

http://kdd2020tutorial.thumedialab.com/

成为VIP会员查看完整内容
0
54

相关内容

因果推断是研究如何更加科学地识别变量间的因果关系。 客观事物普遍存在着内在的因果联系,人们只有弄清事物发展变化的前因后果,才能全面地、本质地认识事物。基干事物发展的这种规律,在论证观点时,有时就可以直接从事物本身的因果关系中进行推论,这就叫因果推断法

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
141

图神经网络在图表示学习领域取得了显著的成功。图卷积执行邻域聚合,并表示最重要的图运算之一。然而,这些邻域聚合方法的一层只考虑近邻,当进一步启用更大的接受域时,性能会下降。最近的一些研究将这种性能下降归因于过度平滑问题,即重复传播使得不同类的节点表示无法区分。在这项工作中,我们系统地研究这一观察结果,并对更深的图神经网络发展新的见解。本文首先对这一问题进行了系统的分析,认为当前图卷积运算中表示变换与传播的纠缠是影响算法性能的关键因素。将这两种操作解耦后,更深层次的图神经网络可用于从更大的接受域学习图节点表示。在建立深度模型时,我们进一步对上述观察结果进行了理论分析,这可以作为过度平滑问题的严格而温和的描述。在理论和实证分析的基础上,我们提出了深度自适应图神经网络(DAGNN),以自适应地吸收来自大接受域的信息。一组关于引文、合著和共购数据集的实验证实了我们的分析和见解,并展示了我们提出的方法的优越性。

https://arxiv.org/abs/2007.09296

成为VIP会员查看完整内容
0
64

题目: Causal Relational Learning

摘要:

因果推理是自然科学和社会科学实证研究的核心,对科学发现和知情决策至关重要。因果推理的黄金标准是进行随机对照试验;不幸的是,由于伦理、法律或成本的限制,这些方法并不总是可行的。作为一种替代方法,从观察数据中进行因果推断的方法已经在统计研究和社会科学中得到发展。然而,现有的方法严重依赖于限制性的假设,例如由同质元素组成的研究总体,这些同质元素可以在一个单平表中表示,其中每一行都被称为一个单元。相反,在许多实际环境中,研究领域自然地由具有复杂关系结构的异构元素组成,其中数据自然地表示为多个相关表。在本文中,从关系数据中提出了一个正式的因果推理框架。我们提出了一种称为CaRL的声明性语言,用于捕获因果背景知识和假设,并使用简单的Datalog类规则指定因果查询。CaRL为在关系领域中推断复杂干预的影响的因果关系和推理提供了基础。我们对真实的关系数据进行了广泛的实验评估,以说明CaRL理论在社会科学和医疗保健领域的适用性。

成为VIP会员查看完整内容
0
113

【导读】2020 年 2 月 7 日-2 月 12 日,AAAI 2020 于美国纽约举办。近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。来自Georgia、Buffalo、阿里巴巴与Virginia的学者做了因果推理表示学习报告,在本教程中,介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。

摘要

因果推理在医疗保健、市场营销、医疗保健、政治科学和在线广告等许多领域都有大量的实际应用。治疗效果估计作为因果推理中的一个基本问题,在统计学上已被广泛研究了几十年。然而,传统的处理效果估计方法不能很好地处理大规模、高维的异构数据。近年来,将传统的处理效果估计方法(如匹配估计器)和先进的表示学习方法(如深度神经网络)相结合的一个新兴的研究方向在广阔的人工智能领域引起了越来越多的关注。在本教程中,我们将介绍用于治疗效果估计的传统和最先进的表示学习算法。关于因果推论,反事实和匹配估计的背景也将被包括。我们还将展示这些方法在不同应用领域的应用前景。

成为VIP会员查看完整内容
0
133

数十年来,因果推理是一个跨统计、计算机科学、教育、公共政策和经济学等多个领域的重要研究课题。目前,与随机对照试验相比,利用观测数据进行因果关系估计已经成为一个有吸引力的研究方向,因为有大量的可用数据和较低的预算要求。随着机器学习领域的迅速发展,各种针对观测数据的因果关系估计方法层出不穷。在这项调查中,我们提供了一个全面的综述因果推理方法下的潜在结果框架,一个众所周知的因果推理框架。这些方法根据是否需要潜在结果框架的所有三个假设分为两类。对于每一类,分别对传统的统计方法和最近的机器学习增强方法进行了讨论和比较。并介绍了这些方法的合理应用,包括在广告、推荐、医药等方面的应用。此外,还总结了常用的基准数据集和开放源代码,便于研究者和实践者探索、评价和应用因果推理方法。

地址:

https://www.zhuanzhi.ai/paper/a37f27ed97e5318b30be2999e9a768c3

成为VIP会员查看完整内容
0
146

简介:

在这篇文章中,我们解释了一种贝叶斯方法来推断干预或行动的影响。我们表明,在标准贝叶斯方法内表示因果关系易处理和不可能查询之间的边界,并开辟了潜在的因果推理新方法。这篇文章是我们Arxiv论文的详细但非正式的介绍:用贝叶斯规则代替do演算,用贝叶斯规则代替因果推论。

因果关系-它是什么以及如何推断-一直是机器学习和统计学中最具争议的主题之一。最近出版的《Book of Why》重新引发了关于是否可以在标准贝叶斯建模范式中进行因果推断或是否需要根本不同方法的争论,这一争论由来已久。这场辩论始于90年代的Pearl和Rubin之间,一直持续到今天-尤其是在Andrew Gelman的博客上-参见Gelman和Pearl。在本文中,我们讨论了一些旨在弥合这场辩论的近期工作。

下图将观察到的因果推论与标准统计进行了对比。 在标准统计问题中,我们具有由某些系统生成的数据,并且我们希望使用该数据来推断系统的某些属性。 在观察性因果推论中,我们要使用一个系统(在某些干预之前的系统)生成的数据来推断另一系统(在干预之后的系统)的属性。 这就要求我们对这两个系统之间的关系做出假设(或等效地,干预如何改变原始系统),并对这些假设进行建模,以确定从系统A采样的哪些数据可以告诉我们有关系统B的信息。

成为VIP会员查看完整内容
0
31

题目: Causal Inference and Stable Learning

简介:

在一个常见的机器学习问题中,使用一个根据训练数据集估计的模型,根据观察到的特征来预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常利用特征之间微妙的统计关系,这使得它们在应用于测试数据时更容易出现预测错误,因为测试数据的分布与训练数据的分布不同。对于学术研究和实际应用来说,如何建立稳定、可靠的学习模型是至关重要的。因果推理是一种强大的统计建模工具,用于解释和稳定的学习。因果推理是指基于某一效应发生的条件,对某一因果关系做出结论的过程。在本教程中,我们将重点讨论因果推理和稳定学习,旨在从观察数据中探索因果知识,以提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推理,并介绍一些最近的数据驱动的方法来估计因果效应的观测数据,特别是在高维设置。摘要为了弥补因果推理与机器学习在稳定学习上的差距,我们首先给出了学习算法的稳定性和鲁棒性的定义,然后介绍了一些最近出现的稳定学习算法,以提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来方向,并为稳定学习提供基准。

邀请嘉宾:

张潼,香港科技大学计算机科学与数学教授。此前,他是罗格斯大学(Rutgers university)教授,曾在IBM、雅虎(Yahoo)、百度和腾讯(Tencent)工作。张潼的研究兴趣包括机器学习算法和理论、大数据统计方法及其应用。他是ASA和IMS的研究员,曾在主要机器学习期刊的编委会和顶级机器学习会议的项目委员会任职。张潼在康奈尔大学获得数学和计算机科学学士学位,在斯坦福大学获得计算机科学博士学位。

崔鹏,清华大学计算机系长聘副教授,博士生导师。2010年于清华大学计算机系获得博士学位。研究兴趣包括社会动力学建模、大规模网络表征学习以及大数据驱动的因果推理和稳定预测。近5年在数据挖掘及人工智能领域高水平会议和期刊发表论文60余篇,曾5次获得顶级国际会议或期刊论文奖,并先后两次入选数据挖掘领域顶级国际会议KDD最佳论文专刊。目前担任IEEE TKDE、ACM TOMM、ACM TIST、IEEE TBD等国际期刊编委。曾获得国家自然科学二等奖、教育部自然科学一等奖、电子学会自然科学一等奖、CCF-IEEE CS青年科学家奖、ACM中国新星奖。入选中组部万人计划青年拔尖人才,并当选中国科协全国委员会委员。

成为VIP会员查看完整内容
0
120

主题: An Overview of the International Planning Competition

摘要: 本教程介绍了自然语言的深度贝叶斯和序列学习的进展,其应用广泛,从语音识别到文档摘要、文本分类、文本分割、信息提取、图片标题生成、句子生成、对话控制、情感分类,推荐系统,问答和机器翻译。传统上,“深度学习”被认为是一种基于实值确定性模型进行推理或优化的学习过程。从大量词汇中提取的单词、句子、实体、动作和文档中的“语义结构”在数学逻辑或计算机程序中可能没有得到很好的表达或正确的优化。自然语言离散或连续潜变量模型中的“分布函数”在模型推理中可能无法正确分解或估计。本教程介绍了统计模型和神经网络的基本原理,重点介绍了一系列先进的贝叶斯模型和深层模型,包括分层Dirichlet过程、Chinese restaurant 过程、分层Pitman-Yor过程、Indian buffet过程、递归神经网络、长时短期记忆,序列到序列模型,变分自动编码,生成对抗网络,注意机制,记忆增强神经网络,随机神经网络,预测状态神经网络,策略梯度和强化学习。我们将介绍这些模型是如何连接的,以及它们为什么在自然语言中的符号和复杂模式的各种应用中起作用。为了解决复杂模型的优化问题,提出了变分推理和抽样方法。词和句子的嵌入、聚类和共聚类与语言和语义约束相结合。本文提出了一系列的个案研究,以解决深度贝叶斯学习与理解中的不同问题。最后,我们将指出未来研究的一些方向和展望。

邀请嘉宾: Jen-Tzung Chien在台湾新竹国立清华大学取得电机工程博士学位。现任职于台湾新竹国立交通大学电子及电脑工程学系及电脑科学系讲座教授。2010年,他担任IBM沃森研究中心的客座教授。他的研究兴趣包括机器学习、深度学习、自然语言处理和计算机视觉。在2011年获得了IEEE自动语音识别和理解研讨会的最佳论文奖,并在2018年获得了AAPM Farrington Daniels奖。2015年,剑桥大学出版社出版《贝叶斯语音与语言处理》;2018年,学术出版社出版《源分离与机器学习》。他目前是IEEE信号处理技术委员会机器学习的当选成员。

成为VIP会员查看完整内容
0
57
小贴士
相关论文
Financial Time Series Representation Learning
Philippe Chatigny,Jean-Marc Patenaude,Shengrui Wang
10+阅读 · 2020年3月27日
Emmanuel Bengio,Joelle Pineau,Doina Precup
8+阅读 · 2020年3月13日
Liuyi Yao,Zhixuan Chu,Sheng Li,Yaliang Li,Jing Gao,Aidong Zhang
78+阅读 · 2020年2月5日
Bernhard Schölkopf
10+阅读 · 2019年11月24日
MeLU: Meta-Learned User Preference Estimator for Cold-Start Recommendation
Hoyeop Lee,Jinbae Im,Seongwon Jang,Hyunsouk Cho,Sehee Chung
32+阅读 · 2019年7月31日
Sean Welleck,Jason Weston,Arthur Szlam,Kyunghyun Cho
5+阅读 · 2018年11月1日
Improving Natural Language Inference Using External Knowledge in the Science Questions Domain
Xiaoyan Wang,Pavan Kapanipathi,Ryan Musa,Mo Yu,Kartik Talamadupula,Ibrahim Abdelaziz,Maria Chang,Achille Fokoue,Bassem Makni,Nicholas Mattei,Michael Witbrock
3+阅读 · 2018年9月15日
Stephen Bonner,Flavian Vasile
17+阅读 · 2018年8月3日
Vinicius Zambaldi,David Raposo,Adam Santoro,Victor Bapst,Yujia Li,Igor Babuschkin,Karl Tuyls,David Reichert,Timothy Lillicrap,Edward Lockhart,Murray Shanahan,Victoria Langston,Razvan Pascanu,Matthew Botvinick,Oriol Vinyals,Peter Battaglia
4+阅读 · 2018年6月5日
Roberta Raileanu,Emily Denton,Arthur Szlam,Rob Fergus
4+阅读 · 2018年3月22日
Top