摘要

科学研究的一个基本目标是了解因果关系。然而,尽管因果关系在生命和社会科学中发挥着关键作用,但在自然语言处理(NLP)中却没有同等的重要性,后者传统上更重视预测任务。随着因果推理和语言处理融合的跨学科研究的兴起,这种区别正开始消失。然而,关于NLP中因果关系的研究仍然分散在各个领域,没有统一的定义、基准数据集和对剩余挑战的清晰表述。在这项综述中,我们巩固了跨学术领域的研究,并将其置于更广阔的NLP景观中。我们介绍了估计因果效应的统计挑战,包括文本作为结果、治疗或解决混淆的手段的设置。此外,我们还探讨了因果推理的潜在用途,以改善NLP模型的性能、鲁棒性、公平性和可解释性。因此,我们为计算语言学界提供了一个统一的因果推理概述。

引言

许多科学领域对将融入文本为数据越来越感兴趣(例如,Roberts et al., 2014; Pryzant et al., 2017; Zhang et al., 2020a)。自然语言处理(NLP)研究人员可能不熟悉这些领域的一个关键特性,是强调因果推理,通常用于评估策略干预。例如,在推荐一种新的药物治疗之前,临床医生想知道这种药物对疾病进展的因果关系。因果推理涉及到一个通过干预创造的反事实世界的问题:如果我们给病人用药,他们的疾病进展会如何?正如我们下面所解释的,在观察数据中,因果关系并不等同于服用药物的患者与其观察到的疾病进展之间的相关性。现在有大量关于使用传统(非文本)数据集进行有效推理的技术的文献(例如,Morgan and Winship, 2015),但将这些技术应用于自然语言数据提出了新的和基本的挑战。

相反,在经典的NLP应用中,目标只是做出准确的预测:任何统计相关性通常都被认为是可接受的,不管潜在的因果关系是什么。然而,随着NLP系统越来越多地部署在具有挑战性和高风险的场景中,我们不能依赖通常的假设,即训练和测试数据是相同分布的,我们可能不会满足于无法解释的黑箱预测器。对于这两个问题,因果关系提供了一条有希望的前进道路: 数据生成过程中因果结构的领域知识可以提示归纳偏差,导致更鲁棒的预测器,而预测器本身的因果视图可以提供关于其内部工作的新见解。

这篇调查论文的核心主张是,探究因果关系和NLP之间的联系,有可能推进社会科学和NLP研究者的目标。我们将因果关系和自然语言处理的交集分为两个不同的领域: 从文本中估计因果效应,以及使用因果形式主义使自然语言处理方法更可靠。我们将用两个例子来说明这种区别。

NLP帮助因果关系。文本数据的因果推理涉及几个不同于典型因果推理设置的挑战:文本是高维的,需要复杂的建模来衡量语义上有意义的因素,如主题,并需要仔细思考,以形式化因果问题对应的干预。从主题模型到上下文嵌入,自然语言处理在建模语言方面的发展为从文本中提取所需信息以估计因果效应提供了有前景的方法。然而,我们需要新的假设,以确保使用NLP方法导致有效的因果推理。我们将在第3节讨论从文本中估计因果效应的现有研究,并强调这些挑战和机遇。

因果关系可以帮助NLP。为了解决NLP方法带来的稳健性和可解释性挑战,我们需要新的标准来学习超越利用相关性的模型。例如,我们希望预测器对于我们对文本所做的某些更改是不变的,例如在保持ground truth标签不变的情况下更改格式。利用因果关系来发展新的准则,为建立可靠的、可解释的自然语言处理方法提供服务,这是相当有希望的。与文本因果推理的研究领域相比,因果关系和NLP研究的这一领域较少被理解,尽管最近的经验成功很好地推动了这一领域的研究。在第4节中,我们涵盖了现有的研究,并回顾了使用因果关系来改进自然语言处理的挑战和机遇。

该论文调研了文本数据在因果推理中的作用(Egami et al., 2018; Keith et al., 2020)。在本文中,我们采取了一个更广泛的视角,将因果关系和自然语言处理的交集分为两个截然不同的研究线,即估计因果效应和因果驱动的自然语言处理方法。在阅读了本文之后,我们设想读者将对以下内容有一个广泛的理解:

  • 使用文本数据和NLP方法所特有的统计和因果挑战;
  • 在评估文本效果和应用因果关系来
  • 改进NLP方法方面的开放问题。
成为VIP会员查看完整内容
0
30

相关内容

自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

传统的自然语言处理方法具有可解释性,这些自然语言处理方法包括基于规则的方法、决策树模型、隐马尔可夫模型、逻辑回归等,也被称为白盒技术。近年来,以语言嵌入作为特征的深度学习模型(黑盒技术)不断涌现,虽然这些方法在许多情况下显著提高了模型的性能,但在另一方面这些方法使模型变得难以解释。用户难以了解数据经过怎样的过程得到所期望的结果,进而产生许多问题,比如削弱了用户与系统之间的交互(如聊天机器人、推荐系统等)。机器学习社区对可解释性重要程度的认识日益增强,并创造了一个新兴的领域,称为可解释人工智能(XAI)。而关于可解释性有多种定义,大部分相关文章的论证也因此有所差异。这里我们关注的是可解释人工智能给用户提供关于模型如何得出结果的可解释,也称为结果解释问题(outcome explanation problem)[1]。在可解释人工智能中,解释可以帮助用户建立对基于NLP的人工智能系统的信任。本文依据前人的综述[2]讨论了可解释的分类方式,介绍了能够给出可解释的技术及其具体操作,并简要地描述了每一种技术及其代表性论文。

成为VIP会员查看完整内容
0
35

近年来,机器学习取得了显著进展,提供了一些新功能,比如创建复杂的、可计算的文本和图像表示。这些功能催生了新产品,如基于图像内容的图像搜索、多种语言之间的自动翻译,甚至是真实图像和声音的合成。同时,机器学习已经在企业中被广泛采用,用于经典的用例(例如,预测客户流失、贷款违约和制造设备故障)。

在机器学习取得成功的地方,它是非常成功的。

在许多情况下,这种成功可以归因于对大量训练数据的监督学习(结合大量计算)。总的来说,有监督的学习系统擅长于一项任务:预测。当目标是预测一个结果,并且我们有很多这个结果的例子,以及与它相关的特征时,我们可能会转向监督学习。

随着机器学习的普及,它在业务流程中的影响范围已经从狭窄的预测扩展到决策制定。机器学习系统的结果经常被用来设定信用限额,预测制造设备故障,以及管理我们的各种新闻推送。当个人和企业试图从这些复杂和非线性系统提供的信息中学习时,更多(和更好)的可解释性方法已经被开发出来,这是非常重要的。

然而,仅仅基于预测的推理有一些基本的限制。例如,如果银行提高客户的信用额度会发生什么?这些问题不能用建立在先前观察到的数据上的相关模型来回答,因为它们涉及到客户选择的可能变化,作为对信用限额变化的反应。在很多情况下,我们的决策过程的结果是一种干预——一种改变世界的行动。正如我们将在本报告中展示的,纯粹相关的预测系统不具备在这种干预下进行推理的能力,因此容易产生偏差。对于干预下的数据决策,我们需要因果关系。

即使对于纯粹的预测系统(这是监督学习的强项),应用一些因果思维也会带来好处。根据因果关系的定义,它们是不变的,这意味着它们在不同的情况和环境中都是正确的。对于机器学习系统来说,这是一个非常理想的特性,在机器学习系统中,我们经常根据我们在训练中没有看到的数据进行预测;我们需要这些系统具有适应性和健壮性。

因果推理和机器学习的交集是一个迅速扩展的研究领域。它已经产生了可供主流采用的功能——这些功能可以帮助我们构建更健壮、可靠和公平的机器学习系统。

本书介绍了因果推理,因为它涉及很多数据科学和机器学习工作。我们引入因果图,着重于消除理解的概念障碍。然后我们利用这个理解来探索关于不变预测的最新想法,它给高维问题带来了因果图的一些好处。通过附带的原型,我们展示了即使是经典的机器学习问题,如图像分类,也可以从因果推理工具中受益。

成为VIP会员查看完整内容
0
140

大量的机器学习模型假设训练数据和测试数据来源于相同的数据分布(IID假设)。然而,在实际情况下,这个条件并不一定满足,比如,我们在不同的时间段和区域内收集的数据可能会有不同的数据分布,从而导致训练和测试数据的分布不同。更严重的是,最近有文献指出,模型偏差可能会引入更大的泛化误差。为了解决训练和测试偏差的问题,已经提出了一些方法,比如,迁移学习,然而其需要预先知道测试数据分布,然而真实情况下测试数据是不可知的。最近,有研究考虑了模型偏差问题,并尝试通过样本重加权实现变量去相关以学习具有稳定性保证的模型。然而,他们尝试通过以下方删除所有变量之间的相关性新的学习样本权重集。但是,这种激进的目标可能会导致样本量过分减少,这种情况会影响机器学习模型性能。

不同于之前去除所有的变量相关性,本文认为并不是所有的相关性都有必要去除。例如,当您想在图像分类任务中识别狗时,尽管狗的鼻子,耳朵和嘴巴可能会由不同的变量代表,它们作为一个整体这样的相关性在不同的环境中都是稳定的。同样,可能存在另一堆变量代表背景(即草)。由于选择偏差,我们可能会观察到这两种变量之间的强相关性在有偏差的训练数据上。但是,这样的“虚假”相关不能推广到新的环境。因此,对于这种情况,我们仅需要消除显著变量和背景变量之间的虚假相关性来获得准确的狗分类器。

成为VIP会员查看完整内容
0
11

因果学习

因果推理在许多领域都很重要,包括科学、决策制定和公共政策。确定因果关系的金标准方法使用随机控制扰动实验。然而,在许多情况下,这样的实验是昂贵的、耗时的或不可能的。从观察数据中获得因果信息是可替代的一种选择,也就是说,从通过观察感兴趣系统获得的数据中获得而不使其受到干预。在这次演讲中,我将讨论从观察数据中进行因果学习的方法,特别关注因果结构学习和变量选择的结合,目的是估计因果效果。我们将用例子来说明这些概念。

成为VIP会员查看完整内容
0
104

EMNLP(Conference on Empirical Methods in Natural Language Processing)是计算语言学和自然语言处理领域的顶级国际会议,由ACL旗下SIGDAT组织,每年举办一次,Google Scholar计算语言学刊物指标中排名第二,是CCF-B类推荐会议。今年EMNLP 2020将于2020年11月16日至20日以在线会议的形式举办。本篇为大家带来EMNLP2020在线Tutorial《Interpreting Predictions of NLP Models》教程,系统性讲解了自然语言处理模型可解释性预测,不可错过!

虽然神经NLP模型具有高度的表示学习能力和良好性能,但它们也会以违反直觉的方式系统性失败,并且在决策过程中不透明。本教程将提供可解释技术的背景知识,即可解释NLP模型预测的方法。我们将首先将具体实例的解释置于理解模型的其他方法的上下文中(例如,探测,数据集分析)。接下来,我们将全面研究具体例子的解释,包括显著性映射、输入扰动(例如LIME、输入减少)、对抗性攻击和影响函数。除了这些描述之外,我们还将介绍为各种NLP任务创建和可视化解释的源代码。最后,我们将讨论该领域的开放问题,如评价、扩展和改进解释方法。

https://github.com/Eric-Wallace/interpretability-tutorial-emnlp2020/

成为VIP会员查看完整内容
0
37

在一个常见的机器学习问题中,使用对训练数据集估计的模型,根据观察到的特征预测未来的结果值。当测试数据和训练数据来自相同的分布时,许多学习算法被提出并证明是成功的。然而,对于给定的训练数据分布,性能最好的模型通常会利用特征之间微妙的统计关系,这使得它们在应用于分布与训练数据不同的测试数据时,可能更容易出现预测错误。对于学术研究和实际应用来说,如何开发能够稳定和稳健地转换数据的学习模型是至关重要的。

因果推理是指根据效果发生的条件得出因果关系的结论的过程,是一种强大的统计建模工具,用于解释和稳定学习。本教程侧重于因果推理和稳定学习,旨在从观察数据中探索因果知识,提高机器学习算法的可解释性和稳定性。首先,我们将介绍因果推论,并介绍一些最近的数据驱动方法,以估计因果效应从观测数据,特别是在高维设置。为了弥补因果推理和机器学习之间的差距,我们首先给出了稳定性和鲁棒性学习算法的定义,然后将介绍一些最近的稳定学习算法来提高预测的稳定性和可解释性。最后,我们将讨论稳定学习的应用和未来的发展方向,并提供稳定学习的基准。

http://kdd2020tutorial.thumedialab.com/

成为VIP会员查看完整内容
0
51

摘要:这项工作考虑了这样一个问题: 获取大量数据的便利程度如何影响我们学习因果效应和关系的能力。在大数据时代,学习因果关系与传统因果关系有哪些不同或相同之处?为了回答这个问题,这项综述提供了一个在因果关系和机器学习之间联系的全面和结构化的回顾。

https://www.zhuanzhi.ai/paper/6ad7902913e98bd48540a5596b978edc

因果性是结果与引起结果的原因之间的一种一般性关系。它很难定义,而且我们通常只凭直觉知道原因和结果。因为下雨,街道是湿的。因为这个学生不学习,所以他考试考得很差。因为烤箱是热的,奶酪在披萨上融化了。当用数据学习因果关系时,我们需要意识到统计关联和因果之间的区别。例如,当天气炎热时,一家冰淇淋店的老板可能会注意到高昂的电费和较高的销售额。因此,她会观察到电费和销售数字之间有很强的联系,但电费并不是导致高销售额的原因——让商店的灯彻夜开着不会对销售产生影响。在这种情况下,外部温度是高电费和高销售额的共同原因,我们说它是一个混乱的因果关系。

学习因果关系的能力被认为是人类水平智能的重要组成部分,可以作为AI的基础(Pearl, 2018)。从历史上看,学习因果关系已经在包括教育在内的许多高影响领域被研究过(LaLonde, 1986;Dehejia和Wahba, 1999年;Heckerman et al ., 2006;希尔,2011),医学科学(马尼和库珀,2000;经济学(Imbens, 2004)、流行病学(Hernan et al., 2000;Robins等人,2000年;、气象学(Ebert-Uphoff和Deng, 2012)和环境卫生(Li et al., 2014)。受限于数据量,坚实的先验因果知识是学习因果关系所必需的。研究人员对通过精心设计的实验收集的数据进行研究,坚实的先验因果知识至关重要(Heckerman et al., 2006)。以随机对照试验的原型为例(Cook et al., 2002),为了研究一种药物的疗效,患者将被随机分配服用或不服用该药物,这将保证平均而言,治疗组和未治疗组(对照组)在所有相关方面是等同的,排除任何其他因素的影响。然后,药物对某些健康结果的影响——比如,偏头痛的持续时间——可以通过比较两组的平均结果来衡量。

这个综述的目的是考虑在现在的大数据时代学习因果关系的新可能性和挑战,这里指的是海量数据集的可用性。举个例子,考虑到无法测量的混杂因素的可能性——可能会被减轻,因为可以测量更多的特征。因此,一方面,研究人员有可能在大数据的帮助下回答有趣的因果问题。例如,Yelp的正面评论是促使顾客去餐馆,还是仅仅反映了受欢迎程度而没有影响?这个因果问题可以通过Yelp维护的庞大数据库中的数据来解决。另一方面,用大数据来回答因果问题,会带来一些独特的新问题。例如,尽管公共数据库或通过web爬行收集的数据或应用程序编程接口(api)是空前巨大的,我们有很少的直觉对什么类型的偏差数据集可以遭受——数据更丰富,也更神秘,因此,负责任地更难模型。与此同时,大数据给其他学习任务(如预测)带来的基本统计困难,使得因果调查更具挑战性。也许这方面最显著的例子是现代数据的高维性(Li et al., 2017a),比如文本数据(Imai et al., 2013)。

成为VIP会员查看完整内容
0
96

对因果推理的简明和自成体系的介绍,在数据科学和机器学习中越来越重要。

因果关系的数学化是一个相对较新的发展,在数据科学和机器学习中变得越来越重要。这本书提供了一个独立的和简明的介绍因果模型和如何学习他们的数据。在解释因果模型的必要性,讨论潜在的因果推论的一些原则,这本书教读者如何使用因果模型:如何计算干预分布,如何从观测推断因果模型和介入的数据,和如何利用因果思想经典的机器学习问题。所有这些主题都将首先以两个变量的形式进行讨论,然后在更一般的多元情况下进行讨论。对于因果学习来说,二元情况是一个特别困难的问题,因为经典方法中用于解决多元情况的条件独立不存在。作者认为分析因果之间的统计不对称是非常有意义的,他们报告了他们对这个问题十年来的深入研究。

本书对具有机器学习或统计学背景的读者开放,可用于研究生课程或作为研究人员的参考。文本包括可以复制和粘贴的代码片段、练习和附录,其中包括最重要的技术概念摘要。

首先,本书主要研究因果关系推理子问题,这可能被认为是最基本和最不现实的。这是一个因果问题,需要分析的系统只包含两个可观测值。在过去十年中,作者对这个问题进行了较为详细的研究。本书整理这方面的大部分工作,并试图将其嵌入到作者认为对研究因果关系推理问题的选择性至关重要的更大背景中。尽管先研究二元(bivariate)案例可能有指导意义,但按照章节顺序,也可以直接开始阅读多元(multivariate)章节;见图一。

第二,本书提出的解决方法来源于机器学习和计算统计领域的技术。作者对其中的方法如何有助于因果结构的推断更感兴趣,以及因果推理是否能告诉我们应该如何进行机器学习。事实上,如果我们不把概率分布描述的随机实验作为出发点,而是考虑分布背后的因果结构,机器学习的一些最深刻的开放性问题就能得到最好的理解。
成为VIP会员查看完整内容
0
309
小贴士
相关VIP内容
相关论文
Zhijie Wang,Masanori Suganuma,Takayuki Okatani
0+阅读 · 9月15日
Bayesian Scalable Precision Factor Analysis for Massive Sparse Gaussian Graphical Models
Noirrit Kiran Chandra,Peter Mueller,Abhra Sarkar
0+阅读 · 9月14日
A Novel Global Feature-Oriented Relational Triple Extraction Model based on Table Filling
Feiliang Ren,Longhui Zhang,Shujuan Yin,Xiaofeng Zhao,Shilei Liu,Bochao Li,Yaduo Liu
0+阅读 · 9月14日
Zhijie Wang,Masanori Suganuma,Takayuki Okatani
0+阅读 · 9月14日
Beata Zjawin,Elie Wolfe,Robert W. Spekkens
0+阅读 · 9月13日
Jed Mills,Jia Hu,Geyong Min,Rui Jin,Siwei Zheng,Jin Wang
0+阅读 · 9月12日
Sander Beckers
4+阅读 · 2020年12月10日
Ryo Takahashi,Ran Tian,Kentaro Inui
3+阅读 · 2018年5月24日
Jason Weston,Sumit Chopra,Antoine Bordes
3+阅读 · 2015年11月29日
Top