剑桥大学最新《自动事实核查》综述论文

由于信息和错误信息在现代媒体生态系统中的传播速度，事实核查变得越来越重要。因此，研究人员一直在探索如何实现事实核查的自动化，使用基于自然语言处理、机器学习、知识表示和数据库的技术来自动预测声明的准确性。在本文中，我们对自然语言处理产生的自动事实检查进行了综述，并讨论了它与相关任务和学科的联系。在这个过程中，我们概述了现有的数据集和模型，旨在统一各种定义，并确定共同的概念。最后，我们强调了未来研究的挑战。

https://www.zhuanzhi.ai/paper/c9ad2ec91cd86cc9c8598a6917ecd942

事实核查是评估书面或口头声明是否属实的任务。这是新闻业的一项基本任务，通常由PolitiFact等专门组织手工完成。报纸、杂志、书籍的出版商在出版前，除了进行外部事实核查外，还进行内部事实核查，以促进报道的真实性。图1显示了来自PolitiFact的一个示例，以及证据(总结)和结论。

事实核查是一项耗时的任务。为了评估图1中的说法，记者需要搜索潜在的许多来源，以找到在特朗普和奥巴马执政期间的就业增长情况，评估每个来源的可靠性，并进行比较。这个过程可能需要专业的事实核查员几个小时或几天(Hassan et al.， 2015;Adair等人，2017)。更糟糕的是，事实核查员经常在严格和紧迫的期限下工作，特别是在内部流程的情况下(Borel, 2016;戈德勒和赖克，2017)，一些研究表明，在所有发表的文章中，只有不到一半的文章经过了验证(Lewis et al.， 2008)。考虑到出现的新信息的数量和传播速度，手工验证是不够的。

自动化事实核查过程已经在计算新闻的背景下进行了讨论(Flew et al., 2010; Cohen et al., 2011; Graves, 2018)，并在人工智能领域得到了极大的关注。Vlachos和Riedel(2014)提出将其构建为一个组件序列——识别需要检查的声明，找到合适的证据，得出结论——可以建模为自然语言处理(NLP)任务。这推动了自动化管道的开发，这些自动化管道由子任务组成，可以映射到NLP社区中充分探索的任务。数据集的发展使进展成为可能，这些数据集包括从事实核查网站收集的声明，如Liar(王，2017)，或专门为研究而设计的声明，如FEVER(Thorne et al., 2018a)。

越来越多的研究机构正在探索事实核查自动化所必需的各种任务和子任务，并满足应对新出现挑战的新方法的需要。早期的发展在Thorne和Vlachos(2018)进行了调研，这仍然是最接近该主题的详尽概述。然而，他们提出的框架不包括确定哪些声明要求需要验证的工作(即声明检测）的几篇论文调研了这项任务的各个组成部分。ZZubiaga et al. (2018) 和 Islam et al. (2020)关注识别谣言在社交媒体上,Kucuk(2020)和Hardalov et al。(2021)检测的立场对声明证据,Kotonya和托尼(2020)为factchecks生产解释和理由。虽然这些调研对了解事实核查技术的各个方面非常有用，但它们是碎片化的，并集中于具体的子任务和组件;我们的目标是提供一个全面和详尽的主题作为一个整体。

一些论文对相关课题进行了调查。Lazer et al. (2018) 和 Zhou 和 Zafarani (2020) 调研了假新闻方面的工作，包括对这个问题的描述性工作，以及试图通过计算手段打击假新闻的工作。Oshikawa等人(2020)也对用于假新闻检测的NLP方法进行了全面综述。然而，假新闻检测与事实核查的范围不同，前者侧重于评估新闻文章，包括基于与真实性无关的方面的标签项目，如讽刺检测(Oshikawa et al., 2020; Zhou 和 Zafarani, 2020)。此外，还经常考虑其他因素，如索赔要求所触及的受众，以及索赔要求的意图和形式。Da San Martino等人(2020b)最近进行的一项调研显示，这些因素在宣传检测中也很重要。与这些努力不同，本综述中讨论的工作集中于评估一般领域声明的准确性。最后，Shu et al.(2017)和da Silva et al.(2019)以社交媒体数据为重点，对假新闻检测和事实核查的研究进行了调研，而这项调研涵盖了跨领域和来源的事实核查，包括新闻通讯社、科学等。

在这个综述中，我们提出了一个全面和最新的调研自动化事实核查，统一了各种组成部分和定义，在以前的研究发展成一个共同的框架。首先，我们定义了事实核查框架的三个阶段——声明检测、证据检索和声明验证，后者包括判决预测和理由生成。然后，我们给出现有数据集和建模策略的概述，根据我们的框架对它们进行分类和上下文化。最后，我们讨论了已经解决的关键研究挑战，并给出了我们认为未来研究应该解决的挑战的方向。我们伴随调研而来的是一个资料库，它提供资源和研究进展的及时更新。