摘要

事件因果关系识别(Event Causality Identification, ECI)已成为自然语言处理(Natural Language Processing, NLP)中的一项关键任务,其目标是从文本数据中自动提取因果关系。本综述系统性地探讨了ECI的基本原理、技术框架及其面临的挑战,同时提供了一种全面的分类法,用于归纳和澄清当前的研究方法,并对现有模型进行定量评估。

我们首先建立了ECI的概念框架,明确了关键定义、问题表述和评估标准。分类法按照事件因果识别的两大主要任务——句子级(SECI)和文档级(DECI)进行分类。在SECI中,我们审视了基于特征模式匹配、深度语义编码、因果知识预训练与提示微调以及外部知识增强的方法。在DECI中,我们重点关注基于事件图推理和提示式技术的研究方法,以应对跨句子因果推理的复杂性。此外,我们分析了每种方法的优点、局限性以及尚未解决的挑战。 我们还基于两个基准数据集对多种ECI方法进行了广泛的定量评估。最后,我们探索了未来的研究方向,强调了克服当前局限性并拓宽ECI应用的潜在路径。 关键词:自然语言处理,事件,因果关系,信息检索,表示学习,知识推理。

1 引言

随着大数据的持续增长,获取非结构化文本的渠道和方法也在不断扩展。当下的主要挑战之一在于如何从这些文本中自动提取有价值的信息和知识。这已成为自然语言处理(Natural Language Processing, NLP)和知识推理(Knowledge Reasoning)领域的重要研究方向。事件是文本的核心内容,围绕事件的多种研究方向相继涌现,例如事件抽取(Event Extraction, EE)[1]、事件关系抽取(Event Relation Extraction, ERE)和事件共指消解(Event Coreference Resolution, ECR)[2]。近年来,事件因果关系识别(Event Causality Identification, ECI)作为一项重要而具有挑战性的任务,受到了越来越多的关注[3]。作为ERE的一个关键子任务,ECI旨在预测文本中给定事件之间是否存在因果关系。ECI广泛应用于问答系统[4]、信息检索[5]、事件预测[6]、知识图谱构建[7]和阅读理解[8]等任务。在ECI任务中,事件通过其触发词(即“事件提及”)来表示,任务本质上是确定给定文本中哪些事件提及具有因果关系。如图1所示,ECI对于文本理解和决策至关重要,因为它揭示了事件的因果关系,有助于分析风险和机遇,从而做出更为明智的数据驱动决策。这种能力在需要复杂推理的领域尤为重要,例如金融[9]、法律[10]、医疗[11]和军事[12]。ECI专注于提取特定类型的关系——因果关系。然而,与一般的ERE任务相比,因果关系识别更具挑战性,主要原因包括:

  1. 隐含性:因果关系通常是隐含的,而非直接表述的,这需要更深层的上下文和语义理解。
  2. 长距离依赖:因果关系可能跨越多个句子甚至段落,需要模型捕捉远距离的交互。
  3. 复杂性:因果链可能涉及多步链接(例如,“地震→建筑物倒塌→人员被困”),增加了识别的复杂性。
  4. 样本不平衡:在监督学习场景中,负样本(非因果对)占主导地位,导致模型难以从较少的正样本中有效学习。
  5. 有限的标注训练数据:大多数数据集规模较小,要求模型能够解析语义并从有限的标注中泛化因果模式。 早期的ECI方法依赖于特征模式识别,利用词汇信号[13]–[15]、时间特征[16][17]以及共现模式[18][19]等线索。随着深度学习(Deep Learning, DL)的兴起,更先进的方法开始出现,能够通过深度编码文本语义更好地捕捉上下文信息[20]。基于Transformer的预训练语言模型(Pre-trained Language Models, PLMs)[21][22]在大规模语料库上训练,显著提升了语义理解能力,并生成高质量的事件及上下文表示,从而改进了因果关系识别[23]–[25]。自2023年以来,大型语言模型(Large Language Models, LLMs)因其强大的知识和上下文理解能力而备受欢迎,能够通过大规模自监督学习处理少样本甚至零样本任务[26][27]。这推动了事件抽取、关系抽取和问答等任务的研究。然而,Gao等[26]的研究指出,尽管LLMs能够通过简单的提示完成零样本ECI任务,但它们容易产生“因果幻觉”(causal hallucination),导致大量误报。因此,尽管LLMs显著推进了与文本事件分析相关的任务,ECI仍然极具挑战性。尽管ECI的研究尚处于初期阶段,但这一领域正在迅速扩展。近年来,与ECI相关的论文显著增加,尤其是在2022年至2024年间,表明学术界和工业界对这一领域的兴趣和参与度正在加速增长。尽管目前仍是一个相对较小的研究领域,ECI的研究方法正日益多样化,并在高影响力期刊和会议中获得关注。这一趋势表明,ECI在未来将持续吸引更多的研究和应用探索。此前已有一些关于事件因果关系和ERE的综述研究。例如,Asghar[28]回顾了早期基于规则和统计的因果抽取方法,但未涉及深度学习方法。Zhao等[29]和Xie等[30]概述了ERE领域的进展,其中Zhao等总结了实体因果关系的整体趋势,而Xie等比较了基于深度学习的监督方法。Liu等[31]研究了因果和时间关系,但对最新方法的覆盖较少;Yang等[32]和Ali等[33]分别回顾了显式和隐式因果关系抽取,但限于2021年之前的研究。Liu等[34]则探讨了事件关系识别的方法、挑战和数据集,但缺乏详细的方法分类。在本文中,我们对ECI研究的现状进行了全面的回顾和分析,系统梳理了该领域的核心概念、关键技术和方法框架,并对现有方法进行了定量评估和比较。此外,我们对这一有前景研究领域的未来发展趋势提出了深入的展望。我们的主要贡献包括:
  • 详细阐述了ECI的多个核心概念,包括问题形式化、数据集、评估协议和关键技术。
  • 提出了首个全面的ECI分类框架(图2),总结了各类方法的技术特点,并评估其优缺点。
  • 使用两个常用数据集对不同ECI方法进行了定量比较实验。
  • 探讨了ECI的未来研究方向,指出了关键挑战和潜在的解决方案。 本文的结构安排如下:第2节介绍了与ECI相关的核心概念,回顾了常用的数据集和评估指标。第3节阐述了ECI的关键技术。第4节提供了ECI分类框架的全面综述,总结了各种模型的核心技术并分析其优缺点。第5节基于两个数据集对现有经典方法的性能进行了定量评估。第6节展望了ECI的未来研究方向。
成为VIP会员查看完整内容
28

相关内容

视觉语言导航:大模型时代的综述
专知会员服务
44+阅读 · 7月10日
扩散模型与表示学习:综述
专知会员服务
41+阅读 · 7月2日
生成式信息检索综述
专知会员服务
31+阅读 · 6月5日
《大型语言模型自然语言生成评估》综述
专知会员服务
67+阅读 · 1月20日
专知会员服务
50+阅读 · 2021年9月25日
智能合约的形式化验证方法研究综述
专知
15+阅读 · 2021年5月8日
事件知识图谱构建技术与应用综述
专知
23+阅读 · 2020年8月6日
【综述】基于知识图谱的推荐系统综述
AINLP
14+阅读 · 2020年7月7日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
知识图谱嵌入(KGE):方法和应用的综述
专知
56+阅读 · 2019年8月25日
层级强化学习概念简介
CreateAMind
17+阅读 · 2019年6月9日
深度学习目标检测概览
AI研习社
46+阅读 · 2017年10月13日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
26+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
32+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
156+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
398+阅读 · 2023年3月31日
Arxiv
66+阅读 · 2023年3月26日
Arxiv
139+阅读 · 2023年3月24日
Arxiv
20+阅读 · 2023年3月17日
VIP会员
相关VIP内容
视觉语言导航:大模型时代的综述
专知会员服务
44+阅读 · 7月10日
扩散模型与表示学习:综述
专知会员服务
41+阅读 · 7月2日
生成式信息检索综述
专知会员服务
31+阅读 · 6月5日
《大型语言模型自然语言生成评估》综述
专知会员服务
67+阅读 · 1月20日
专知会员服务
50+阅读 · 2021年9月25日
相关资讯
智能合约的形式化验证方法研究综述
专知
15+阅读 · 2021年5月8日
事件知识图谱构建技术与应用综述
专知
23+阅读 · 2020年8月6日
【综述】基于知识图谱的推荐系统综述
AINLP
14+阅读 · 2020年7月7日
事件知识图谱构建研究进展与趋势
THU数据派
99+阅读 · 2019年12月11日
知识图谱嵌入(KGE):方法和应用的综述
专知
56+阅读 · 2019年8月25日
层级强化学习概念简介
CreateAMind
17+阅读 · 2019年6月9日
深度学习目标检测概览
AI研习社
46+阅读 · 2017年10月13日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
26+阅读 · 2017年7月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
32+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员