探求事物的原因,是人类永恒的精神活动之一。从古希腊的哲学到中国先秦的诗歌,都充满了对原因的追问和对因果关系的思考。比如,亚里士多德就在《物理学》(Physics)和《形而上学》(Metaphysics)两书中反复强调,我们只有知道了事物的原因,才能算真正理解这个事物。又如,屈原在《天问》开篇,就追问日月星辰运行的原因。

长期以来,人们一方面好奇地追问原因和结果的关系,一方面又苦于这些概念的模糊性。于是,这些话题在很长一段时间都仅仅局限在哲学和文学的范围内。精确地描述因果关系,尤其是用数学的语言来描述因果关系,则是非常近代的事情了。这一项思想飞跃,得益于现代统计学的发展。统计学家称之为“因果推断”(causal inference)。虽然因果推断在现代统计学的萌芽阶段就已经产生,但是它的发展并非一帆风顺:它长期被主流忽视、怀疑甚至攻击。直至最近四十年,尤其是最近十年,它才得到了广泛的认可和大力的研究,成为当今主流的研究方向之一。在最近的一篇文章中,Andrew Gelman 和 Aki Vehtari 评选了过去五十年中,统计学最重要的八个想法,排名第一的就是因果推断1。当今世界,很多年轻的学者加入了因果推断的研究,他们来自统计学、经济学、社会学、政治科学、教育学、流行病学、计算机科学、哲学等等领域。毫不夸张地说,统计因果推断的研究迎来了它发展的黄金时代。

本文将回顾统计因果推断的历史背景,评述中国因果推断研究的现状,并且大胆推测它未来的发展前景。

成为VIP会员查看完整内容
0
36

相关内容

机器学习和图形因果关系这两个领域分别出现和发展。然而,现在这两个领域的交叉发展受到越来越多的兴趣。在本文中,我们回顾了因果推理的基本概念,并将它们与机器学习的关键开放问题联系起来,包括迁移和泛化,从而分析因果关系如何对现代机器学习研究做出贡献。这也适用于相反的方向: 我们注意到,大多数因果关系的研究都是从给定因果变量的前提开始的。因此,人工智能和因果关系的一个核心问题是因果表示学习,即从低级观察中发现高级因果变量。最后,我们描述了机器学习的一些因果关系,并在这两个领域的交叉点提出了关键研究领域。

成为VIP会员查看完整内容
0
52

本课程的教材是从机器学习的角度写的,是为那些有必要先决条件并对学习因果关系基础感兴趣的人而开设的。我尽我最大的努力整合来自许多不同领域的见解,利用因果推理,如流行病学、经济学、政治学、机器学习等。

有几个主要的主题贯穿全课程。这些主题主要是对两个不同类别的比较。当你阅读的时候,很重要的一点是你要明白书的不同部分适合什么类别,不适合什么类别。

统计与因果。即使有无限多的数据,我们有时也无法计算一些因果量。相比之下,很多统计是关于在有限样本中解决不确定性的。当给定无限数据时,没有不确定性。然而,关联,一个统计概念,不是因果关系。在因果推理方面还有更多的工作要做,即使在开始使用无限数据之后也是如此。这是激发因果推理的主要区别。我们在这一章已经做了这样的区分,并将在整本书中继续做这样的区分。

识别与评估。因果效应的识别是因果推论所独有的。这是一个有待解决的问题,即使我们有无限的数据。然而,因果推理也与传统统计和机器学习共享估计。我们将主要从识别因果效应(在第2章中,4和6)之前估计因果效应(第7章)。例外是2.5节和节4.6.2,我们进行完整的例子估计给你的整个过程是什么样子。

介入与观察。如果我们能进行干预/实验,因果效应的识别就相对容易了。这很简单,因为我们可以采取我们想要衡量因果效应的行动,并简单地衡量我们采取行动后的效果。观测数据变得更加复杂,因为数据中几乎总是引入混杂。

假设。将会有一个很大的焦点是我们用什么假设来得到我们得到的结果。每个假设都有自己的框来帮助人们注意到它。清晰的假设应该使我们很容易看到对给定的因果分析或因果模型的批评。他们希望,清晰地提出假设将导致对因果关系的更清晰的讨论。

成为VIP会员查看完整内容
0
89

非凸优化是机器学习中的基础问题,迭代优化方法缺乏理论支撑。普林斯顿大学助理教授Yuxin Chen一直从事非凸优化方面的研究,这份报告讲述了最近关于非凸统计估计的故事,它们强调了统计模型在实现有效的非凸优化中的重要作用。

Yuxin Chen 目前是普林斯顿大学电气工程系的助理教授。在加入普林斯顿大学之前,他是斯坦福大学统计系的博士后学者,并在斯坦福大学完成了电子工程博士学位。他的研究兴趣包括高维统计、凸与非凸优化、统计学习和信息论。他获得了2019年AFOSR青年研究员奖。

http://www.princeton.edu/~yc5/

非凸优化与统计学

近年来,利用非凸优化方法来解决统计估计和学习问题的研究工作层出不穷。由于非凸优化算法易受虚假局部极小值的影响,传统工作通常对其持悲观看法,而简单的迭代方法,如梯度下降法,在实践中已经取得了显著的成功。然而,直到最近,这些理论基础在很大程度上一直缺乏。这个报告展示了两个最近关于非凸统计估计的故事,它们强调了统计模型在实现有效的非凸优化中的重要作用。第一个故事是关于一个相位检索问题的随机初始化非凸方法:即使没有仔细的初始化,像梯度下降这样的简单算法也可以在对数迭代次数内找到全局解。第二个故事是关于非凸低秩矩阵补全的不确定性量化。我们在非凸估计的基础上开发了一个去偏估计器,使未知矩阵缺失项的置信区间能得到最优构造。所有这些都是通过一个“一留一出”的统计分析框架实现的,该框架在处理和解耦复杂的统计依赖方面非常强大。

https://events.seas.upenn.edu/event/priml-seminar-nonconvex-optimization-meets-statistics-a-few-recent-stories/

成为VIP会员查看完整内容
0
66
小贴士
相关主题
相关资讯
5G全产业链发展分析报告
行业研究报告
7+阅读 · 2019年6月7日
100年!这些青年用科学改变世界,改变未来!
未来论坛
11+阅读 · 2019年5月4日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
8+阅读 · 2019年1月24日
【学科发展报告】智慧城市
中国自动化学会
4+阅读 · 2019年1月14日
2018自然语言处理与机器学习论文发表统计
哈工大SCIR
3+阅读 · 2019年1月11日
IBM长文解读人工智能、机器学习和认知计算
人工智能学家
4+阅读 · 2018年8月26日
张钹院士:走向真正的人工智能(附报告全文)
走向智能论坛
8+阅读 · 2018年7月1日
相关论文
Pedro A. Tsividis,Joao Loula,Jake Burga,Nathan Foss,Andres Campero,Thomas Pouncy,Samuel J. Gershman,Joshua B. Tenenbaum
0+阅读 · 7月27日
Zhaonan Qu,Ruoxuan Xiong,Jizhou Liu,Guido Imbens
0+阅读 · 7月26日
Xiujun Shu,Ge Li,Xiao Wang,Weijian Ruan,Qi Tian
0+阅读 · 7月24日
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
42+阅读 · 2020年7月2日
Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
Risto Vuorio,Shao-Hua Sun,Hexiang Hu,Joseph J. Lim
22+阅读 · 2019年10月30日
Xuelong Li,Hongli Li,Yongsheng Dong
5+阅读 · 2019年7月29日
Stefan Constantin,Jan Niehues,Alex Waibel
3+阅读 · 2018年12月17日
Honggang Zhou,Yunchun Li,Hailong Yang,Wei Li,Jie Jia
3+阅读 · 2018年4月26日
Ming Jin,Andreas Damianou,Pieter Abbeel,Costas Spanos
3+阅读 · 2017年5月4日
Top