NLP中如何处理因果性？EMNLP2022最新《自然语言处理因果关系导论》教程，180页ppt全面讲解因果发现和因果效应估计

因果推理正在成为深度学习中一个越来越重要的主题，有可能帮助解决关键的深度学习问题，如模型鲁棒性、可解释性和公平性。此外，因果关系自然被广泛应用于科学的各个学科，以发现变量之间的因果关系和估计感兴趣的因果效果。在本教程中，我们向自然语言处理(NLP)观众介绍了因果发现和因果效应估计的基础，提供了NLP问题因果观点的概述，旨在进一步启发NLP的新方法。本教程面向各种受众，并希望根据新兴的因果原则和方法，促进社区在制定和解决新的、重要的NLP问题方面的发展。

https://2022.emnlp.org/program/tutorials/

1. 引言

建立因果关系是科学研究的根本目标(Pearl, 2000;Spirtes et al.， 2001)。当我们需要量化疫苗的有效性、公共卫生广告的说服力或封锁政策的影响时，这自然可以归结为因果关系问题:与没有治疗的反事实世界相比，治疗(如疫苗)将如何影响结果(如感染率)?一旦正式确定，因果关系的方向和强度在制定临床治疗、公共政策和其他长期的规范性策略中发挥关键作用。随着如此广泛的应用，越来越多的文献关注NLP和因果推理之间的相互作用(Tan et al., 2014; Wood-Doughty et al., 2018; Sridhar and Getoor, 2019; Veitch et al., 2020; Keith et al., 2020; Feder et al., 2021c)。

尽管文本因果推理具有跨学科的兴趣，但这一领域的研究似乎仍然分散在各个领域，没有明确的定义、表示法、基准数据集，也没有对现有技术和挑战的理解。例如，目前尚不清楚NLP方法的缺陷(例如它们对低资源语言的不准确性以及它们在数据中传播偏差的倾向)如何影响下游因果估计。此外，NLP中的超参数选择和建模假设是由准确性和易处理性考虑驱动的;这些选择如何影响下游因果估计还未得到充分研究。 本教程旨在解决三个问题:(1)什么是因果关系?(2)因果公式如何帮助改进NLP模型?(3)因果关系如何帮助NLP和计算社会科学发现我们社会中的因果现象?具体来说，我们将首先为NLP观众介绍因果关系的基础，然后回顾使用因果公式来帮助NLP模型的研究(在鲁棒性、公平性和可解释性方面)，最后介绍因果关系如何帮助NLP和计算社会科学发现社会现象背后的因果关系。

2. 总结

本入门教程旨在向NLP研究社区介绍因果关系。虽然因果关系在科学研究中发挥着重要作用，但直到现在才开始传播到NLP社区。这就是为什么本教程将首先重点介绍因果关系及其重要性和NLP社区的相关性。然后，我们将深入因果关系和NLP的交集，并将其划分为两个不同的领域:使用因果形式使NLP方法更具可解释性、鲁棒性和公平性，以及发现涉及文本变量的社会现象中的因果关系。相应地，我们将教程的内容分为以下三个部分:

**1. 因果关系导论。**我们将给出因果建模的中心概念、原则和技术发展的广泛覆盖;因果效应识别(称为因果效应估计);以及通过分析观察性数据发现因果关系(称为因果发现)。我们将重点关注因果模型的表示和使用(Pearl, 2000; Spirtes et al., 2001)，因果关系如何不同于关联并与关联相联系，以及最近用于因果发现和因果表示学习的机器学习方法(Spirtes et al., 2001; Peters et al., 2017; Spirtes and Zhang, 2016; Shimizu et al., 2006; Zhang and Hyvärinen, 2009; Xie et al., 2020, 2022; Huang et al., 2022; Yao et al., 2022)。具体来说，我们将回答以下问题:我们如何定义因果关系?因果关系是科学和机器学习中不可或缺的概念吗?为什么我们关心因果关系?我们如何推断一个变量对另一个变量的因果关系?如何从纯粹的观察数据中学习因果关系?我们如何恢复潜在的因果变量及其关系?

**2. 因果关系有助于改进NLP模型。**在教程的这一部分，我们将首先通过介绍因果视角为什么以及如何帮助机器学习或人工智能任务来激励观众(Schölkopf et al., 2021; Pearl and Bareinboim, 2011; Schölkopf et al., 2012; Zhang et al., 2013, 2020)。简而言之，尽管深度学习模型通过在预测任务中使用相关性取得了令人印象深刻的性能，但在鲁棒性、可解释性和公平性方面仍有局限性，可以使用因果关系来改善。有了这些动机，我们将因果公式扩展到NLP。本文将确定并强调NLP方法中现有的局限性，并提出三个应用领域，其中因果思想可能有所帮助:可解释性(Guidotti等人，2018)、鲁棒性(例如，McCoy等人，2019)和公平性(例如，Zhao等人，2017)。对于每个潜在的应用领域，我们将强调因果思维在解决NLP中的重要开放问题中的相关性(Feder et al., 2021c; Veitch et al., 2021; Kilbertus et al., 2017)。

**3.NLP和计算社会科学的因果关系。**与因果关系如何帮助改进NLP模型不同，在第二部分中，我们还可以看到NLP的另一个重要用途:为NLP和计算社会科学识别因果关系。例如，在线帖子的赞中是否存在性别偏见(Veitch et al.， 2020)?社交媒体舆论是否会影响新冠肺炎保持社交距离政策的严密性(Jin et al.， 2021b)?流行推文背后的原因是什么?许多社会问题都涉及文本数据。例如，在线帖子、新闻文章、科学论文、对话记录等都是文本变量。如果我们想研究因果关系问题，例如文本的某些内容或特征对特定结果的影响，那么我们需要运行带有文本建模的统计因果模型。在这一部分中，我们将首先介绍如何进行涉及文本的因果效应估计发现和因果发现。然后，我们将介绍一些可以应用这些方法的现实世界示例(Veitch et al., 2020; Feder et al., 2021b; Jin et al., 2021b; Ding et al., 2022; Keidar et al., 2022)，最后完成一些练习问题。