《综述：生成式人工智能对虚假新闻的影响》

假新闻严重影响着我们的社会。它们影响着消费者、选民和许多其他社会群体。虽然假新闻已经存在了几个世纪，但生成式人工智能将假新闻提升到了一个新的水平。现在，我们可以自动制造大量高质量、有针对性的假新闻。另一方面，生成式人工智能也能帮助检测假新闻。这两个领域都很年轻，但发展迅速。本调查报告全面考察了 2024 年生成式人工智能在假新闻检测和创建方面的研究和实际应用。按照结构化文献调查的方法，本文综合了以下主题集群的当前成果：1）使能技术；2）假新闻的创造；3）作为最相关传播渠道的案例研究社交媒体；4）假新闻的检测；5）作为即将出现的技术的深度伪造。文章还指出了当前面临的挑战和有待解决的问题。

信息传播的发展对公众认知和政治格局的影响由来已久。在斯大林时代，人们利用照片处理技术将政治对手从历史记录中抹去，改变了公众对历史的看法。纳粹德国帝国宣传部长戈培尔巧妙地利用宣传来控制舆论，推进纳粹议程。

剑桥分析公司是一家英国政治咨询公司，因其在 2016 年美国总统大选和英国脱欧公投[1] 中扮演的角色而广为人知。他们的案例表明，针对个人的信息具有巨大的影响力。该公司专门从事数据挖掘、数据分析和选举过程中的战略沟通。剑桥分析丑闻利用数据分析技术，通过社交媒体上有针对性的（当时是手工制作的）政治广告影响选民行为。剑桥分析公司的技术被用于各种政治活动，包括 2016 年美国总统大选和英国脱欧公投。该公司声称，其数据驱动方法在塑造政治结果方面非常有效。

生成式人工智能极大地改变了我们的社会[2]。这项技术可以自动生成逼真的图像、视频和文本，使人们越来越难以区分真实内容和人工内容。这种生成技术几乎不需要任何成本，就能大量创建针对个人的信息。生成式人工智能的复杂性给新闻、媒体和信息完整性领域带来了前所未有的挑战。

假新闻特指在形式上模仿新闻媒体内容，但在组织过程或意图上不模仿新闻媒体内容的编造信息；虚假信息是指故意传播以欺骗人们的虚假信息；错误信息是指无意误导而传播的虚假信息[3, 4]。假新闻的扩散是一项重大挑战，需要先进的检测和缓解解决方案[5]。在此背景下，生成式人工智能（GenAI）作为一种两用技术应运而生，它既能生成复杂的虚假内容，又能对其进行检测。

一些调查已经开始探索假新闻和生成式人工智能的各个方面，强调了技术挑战以及识别和缓解技术的发展[5]。本调查通过系统地探讨如何将生成式人工智能技术应用于传播和打击假新闻，填补了这一空白。生成式人工智能技术的快速发展，尤其是在自然语言处理（NLP）和深度学习方面的发展，凸显了对这一领域进行最新分析的紧迫性。

本调查探讨了生成式人工智能与假新闻之间的相互作用：

1.生成式人工智能如何用于假新闻的创建和检测？

2.生成式人工智能领域在假新闻中是如何构建的？

3.如何对现有研究进行系统归类？

4.推动这一领域发展的相关领域和全球活跃的研究小组有哪些？

5.哪些是目前尚未解决的问题，哪些是未来可能开展的工作？

本调查报告阐述了对生成式人工智能和假新闻文献的几项重要贡献，与现有调查报告有所不同：

1.它在假新闻的背景下对生成式人工智能领域进行了全面的结构性分析。

2.通过对现有工作进行分组，本调查报告对现有方法进行了识别和分类。

3.本调查系统地列举了领先的研究机构和研究小组，让人们深入了解当前研究工作的中心。

4.本调查报告强调了尚未解决的问题和潜在的未来研究方向，从而为即将开展的研究绘制了路线图。

本调查报告的结构如下：第 II 部分探讨了现有的调查，并强调了本调查的必要性。第III 部分介绍了所研究领域的主要概念和方面。第IV部分详细介绍了本研究采用的方法框架。第V 节深入回顾了该领域的最新研究进展。第六节深入探讨了研究课题的演变，重点介绍了一些重要的研究领域。第 VII 节综合了本调查报告中的论文结论，提炼出当前研究的精髓及其对未来的影响。

图 1. 生成式人工智能领域的结构概述及其对假新闻的影响，说明了创建和检测这两个主题及其子主题和相互关系。蓝色表示该领域的主要主题；绿色强调与这些主要主题相关的副主题；黄色表示对理解和应对该领域挑战至关重要的关键技术和方法。

调查报告分为五个相互关联的小节，分别探讨了以下问题：

赋能技术研究了自然语言处理（NLP）和变形器等技术基础，这些技术对生成式人工智能生成和检测假新闻的功能至关重要。
假新闻的创建讨论了生成式人工智能在内容创建方面的双重能力，重点关注其在内容生成和传播方面的贡献。
作为最相关传播渠道的社交媒体案例研究分析了社交媒体作为虚假信息传播渠道的影响力以及假新闻对公众认知的影响。
假新闻检测探讨了假新闻检测和分析的方法和技术，重点是生成式人工智能在增强这些工作中的作用。
即将问世的技术--深度假新闻讨论了深度假新闻和合成媒体带来的挑战，包括当前的检测策略以及创建和检测之间的动态关系。

使能技术

自然语言处理（NLP）和变换器等辅助技术是生成式人工智能发展的基础。这些方法改善了对人类语言的理解和生成。它们对检测、分析和生成假新闻具有重要意义。

Schütz 等人（2022 年）探索了 XLM-RoBERTa 模型在跨语言检测假新闻方面的功效，特别是针对英语和德语文本[47]。他们的方法包括在额外的数据集上进行预训练和在目标数据上进行微调，强调了多语言转换器在应对假新闻这一全球性挑战方面的潜力。

Schütz 等人（2021 年）应用预先训练好的转换器模型自动检测假新闻，展示了最先进的人工智能技术在辨别事实与虚构方面的效率[42]。

Devlin 等人（2018）介绍了 BERT，这是一种转换器模型，通过实现语言表征的深度双向训练，彻底改变了 NLP[17]。该模型为复杂的人工智能应用奠定了基础，包括细致入微的假新闻检测机制。

在 "Visual Analytics with Tableau "一文中，Loth（2019）讨论了通过Tableau等工具将NLP技术整合到数据可视化中的问题，强调了数据分析和语言处理在从复杂数据集中发掘洞察力方面的交集[48]。

Peters 等人（2018 年）深入分析了 BERT 等模型中使用的上下文词嵌入如何有助于理解语言的细微差别，这是区分真假新闻的一个关键方面[49]。

Maronikolakis 等人（2021 年）解决了识别自动生成标题的难题，证明变换器在区分真假新闻内容方面明显优于人类[19]。

De Oliveira 等人（2021 年）调查了 NLP 在识别社交网络假新闻方面的应用，强调了机器学习和语言处理技术在打击错误信息方面的重要性[50]。

Howard 和 Ruder（2018）提出了一种通用语言模型微调方法，说明了如何将预先训练好的模型调整用于文本分类等特定任务，包括假新闻检测，从而提高人工智能驱动的分析精度[51]。

Vijjali 等人（2020 年）开发了一种基于转换器的两阶段模型，用于检测与 COVID-19 相关的假新闻，将事实检查与文本引申结合起来以验证声明，展示了转换器模型对当前事件和特定领域的适应性[52]。 Loth (2023) 探讨了人工智能的伦理层面，将技术进步与道德责任联系起来[43]。

Vaswani 等人（2023 年）提出了变换器模型[35]。该模型用注意力机制取代了复杂的递归或卷积网络，在序列转换任务中取得了优异的性能。通过完全省去递归和卷积，Transformer 展示了更高的可并行性和更短的训练时间。该模型不仅将英德翻译任务的 BLEU 分数提高了 2 分多，而且在 8 个 GPU 上进行最少的训练后，在英法翻译任务中创造了新的单一模型记录。Transformer 在不同数据规模的英语选区解析中的成功应用进一步证明了它的适应性。

Bubeck 等人（2023 年）对 GPT-4 进行了研究，强调了它在多个学科中接近人类的能力，表明了向人工通用智能（AGI）迈进的趋势[53]。GPT-4 是新一代 LLM（包括 ChatGPT 和谷歌的 PaLM）中的佼佼者，它在数学、编码、视觉、医学、法律和心理学等不同领域展现出了与人类智能接近的能力。GPT-4 的表现优于前辈，展示了它在没有特定提示的情况下解决新任务的多功能性。这项研究将 GPT-4 定位为 AGI 的早期形式，强调了它的社会意义以及在下一个单词预测之外建立新研究范式的必要性。

Ma 等人（2024 年）介绍了一种 1 位大语言模型（LLM）变体，即 BitNet b1.58，它采用三元参数 {-1, 0, 1}[40]。这一发展开创了效率的新纪元，它在困惑度和最终任务性能方面与全精度（FP16 或 BF16）变压器 LLM 不相上下，但内存和能耗却大大降低。1.58 位 LLM 不仅为训练高性能、高性价比的 LLM 定义了新的缩放规律，还表明了向新计算范式的转变，这种转变有可能得到针对 1 位运算进行了优化的专用硬件的支持。

这些研究成果共同凸显了 NLP 和转换器模型在处理和理解复杂语言模式方面的变革性影响，为跨平台和跨语言检测和分析假新闻提供了强大的解决方案。

假新闻的制造

生成式人工智能在内容创作中的作用横跨各个领域，从老龄化研究到合成数据生成，凸显了其对数字创新的变革性影响及其潜在的伦理考虑。

Zhavoronkov等人（2019）讨论了人工智能在老龄化研究中的应用，展示了人工智能如何生成合成生物数据并确定新的治疗靶点，展示了生成模型在生物技术中更广泛的潜力[54]。

Gozalo-Brizuela 和 Garrido-Merchan（2023 年）对大型生成式人工智能模型（如 ChatGPT 和 Stable Diffusion）进行了全面评述，强调了这些模型对各行各业的革命性影响以及对伦理考虑的迫切需要[16]。

在《决胜数字化》一书中，Loth（2021 年）探讨了人工智能与商业的融合，强调了战略性地采用生成式人工智能模型（如 GPT-3）来提升数字文化和促进内容创作的创新[45]。

Jin 等人（2020）回顾了生成式对抗网络（GANs）在计算机视觉中的应用，说明了生成式对抗网络在图像生成和风格转换方面的多功能性，并解决了模型崩溃等挑战[55]。

Arora 和 Arora（2022 年）强调了 GANs 在生成合成患者数据中的作用，强调了其对临床研究的益处以及解决数据隐私和真实性相关伦理问题的重要性[56]。

Radford 等人（2019 年）展示了在大量数据集上训练的语言模型如何在没有明确监督的情况下执行一系列任务，为人工智能从人类语言和内容的多样性中学习提供了一条途径[57]。

在《KI für Content Creation》一书中，Loth（2024 年）研究了人工智能在生成各种类型内容中的应用，强调了人工智能在创作过程中的技术进步和伦理挑战[46]。

Weisz 等人（2023 年）提出了生成式人工智能应用的设计原则，旨在促进富有成效的使用，同时减轻潜在的危害，这表明人工智能开发对伦理框架的需求日益增长[58]。

Simon 等人（2023 年）针对人们对生成式人工智能在错误信息中的作用的担忧，认为这种影响可能被高估，并呼吁采用基于证据的方法来理解和减轻潜在问题[59]。

Sandrini 和 Somogyi（2023 年）分析了生成式人工智能的进步对新闻媒体消费的影响[36]。随着 GenAI 的发展，它最初会导致消费者增加对虚假新闻和点击诱饵等欺骗性内容的消费。这种早期阶段的 GenAI 会扭曲消费者的动机，鼓励消费低价值商品，从而降低福利。然而，在达到一定的发展门槛后，GenAI 开始使消费者受益。本文认为，早期 GenAI 的负面影响还包括减少对新闻生产的投资。

Ferrara（2024 年）强调了 GenAI 和 LLMs 的潜在滥用问题，强大的能力会带来重大的社会挑战[37]。由于 GenAI 应用程序可以生成难以分辨的深度伪造和合成身份，它们会带来促成恶意活动和有针对性的错误信息的风险。本文呼吁人们注意，迫切需要解决滥用 GenAI 制作复杂恶意软件、伪造身份和制作合成现实的问题。这种滥用对社会的影响凸显了虚拟世界与现实世界之间界限的模糊，影响着每一个人。

这些作品共同揭示了生成式人工智能与内容创作之间的动态相互作用，强调了该技术的创新潜力，以及对负责任的应用和道德考量的迫切需要。

案例研究：社交媒体是最相关的传播渠道

社交媒体、虚假信息和公众认知的交叉点对于了解假新闻的动态至关重要。本节介绍了探讨这些主题的主要研究，突出了这些研究在更广泛的假新闻讨论中的贡献和发现。

Allcott 和 Gentzkow（2017 年）调查了 2016 年美国总统大选期间假新闻的分布和影响。他们发现，与支持希拉里-克林顿的内容相比，支持唐纳德-特朗普的假新闻在 Facebook 上得到了更广泛的分享。这项研究强调了社交媒体在假新闻传播中的重要作用及其影响公众舆论和选举结果的潜力[30]。

布拉德肖、贝利和霍华德（Bradshaw, Bailey, and Howard, 2021 年）概述了全球有组织的社交媒体操纵行为，详细介绍了各种行为者传播虚假信息的策略。他们的报告强调了策划虚假信息活动的产业规模，反映了数字宣传不断演变的性质及其对民主进程的影响[33]。

Bradshaw 等人（2022 年）研究了与俄罗斯有关联的媒体在报道 #BlackLivesMatter 抗议活动时的宣传策略。该研究揭示了不同俄罗斯媒体属性之间不同的框架策略，说明了国家支持的媒体是如何利用社会问题来影响公共话语和制造分裂的[60]。

Lewandowsky 和 Van Der Linden（2021 年）探讨了错误信息的心理基础，并提出了接种理论，作为建立抵御假新闻能力的前瞻性策略。他们的研究提出证据表明，先发制人地接触弱化形式的错误信息可以为个人 "接种疫苗"，降低对假新闻的易感性[61]。

在《真或假》一书中，奥蒂斯（2020 年）根据她作为中央情报局分析员的经验，提供了一份识别假新闻的指南。该书为读者提供了辨别真假的工具，强调批判性思维和核实消息来源的重要性。奥蒂斯的作品是在虚假信息时代提高媒体素养的宝贵资源[44]。

Shu 等人（2020 年）讨论了打击社交媒体上虚假信息的各种策略，强调了教育、研究和合作的作用。他们的综述介绍了一系列减缓假新闻传播的方法，包括技术解决方案和提高公众意识的活动[34]。

Shu 等人（2020 年）介绍了 FakeNewsNet，这是一个包含新闻内容、社会背景和时空信息的综合数据存储库。这一资源有助于研究假新闻在社交媒体上的传播，为研究人员开发检测算法和了解错误信息的传播动态提供了宝贵的数据[62]。

Yang和Tian（2021年）研究了COVID-19假新闻背景下的第三人效应，发现个人认为他人比自己更容易受到虚假信息的影响。这种认知可能会阻碍应对假新闻的努力，因为它会导致低估自己在虚假信息面前的脆弱性[63]。

Pennycook 和 Rand（2021 年）深入研究了社交媒体上相信和传播假新闻背后的心理[64]。他们对 "政治偏见是假新闻易感性的主要驱动因素 "这一普遍观点提出了质疑，研究表明，在评估与政治观点一致的新闻时，个人会表现出更好的真假辨别力。研究强调，对真实性判断力差与缺乏缜密推理、知识不足以及对熟悉程度等启发式线索的依赖有关。此外，他们还发现个人的信念与他们在网上分享的内容之间存在很大差距，这归因于注意力不集中，而不是有意分享错误信息。这项研究提出，通过干预措施提高用户对准确性的关注，并利用众包真实性评级，可以提高社交媒体平台上内容的可靠性。

这些作品共同提供了对社交媒体上虚假信息所带来的挑战的理解，强调了技术解决方案、心理复原力和批判性思维在解决这一问题中的重要性。每篇文章都对检测策略、心理防御以及更广泛的社会影响提出了独特的观点，使它们与关于生成式人工智能在假新闻传播中的作用的讨论尤为相关。

假新闻检测

假新闻的扩散及其检测已成为数字时代的首要问题。本节回顾了对理解和检测假新闻做出重大贡献的重要著作。

Cao 等人（2020 年）深入研究了多媒体内容在假新闻传播中的重要作用。他们的综述概述了假新闻所利用的视觉内容类型、有效的视觉检测特征以及多媒体假新闻检测所面临的挑战。与其他作品不同的是，该研究强调了假新闻的多媒体方面，从一个独特的角度提出了检测方法[20]。

Jwa等人（2019）介绍了exBAKE，一种利用变压器双向编码器表示（BERT）的假新闻自动检测模型。通过研究标题与正文之间的关系，他们显著提高了检测准确率。该模型依赖于 BERT 的深度上下文嵌入，从而深入了解了假新闻在语言上的细微差别，为今后基于文本的假新闻检测研究奠定了基础[18]。

Karnyoto 等人（2022 年）以 COVID-19 大流行病为研究重点，应用 BERT 和 GPT-2 模型以及 GRU-CRF 来增强假新闻检测。他们的方法凸显了迁移学习和特征增强在应对健康危机期间错误信息快速传播方面的有效性[22]。

Lazer 等人（2018 年）对假新闻进行了多学科分析，呼吁各领域共同努力减轻假新闻的影响。他们的综述综合了有关假新闻传播、其社会影响以及潜在检测和干预策略的研究。这项工作为理解假新闻提供了一个广阔的背景，强调了采用多层面方法检测假新闻的必要性[31]。

Liu和Wu（2018）提出了一种利用递归和卷积网络对新闻传播路径进行分类的新型模型，用于早期检测社交媒体上的假新闻。他们的方法强调了分析用户参与模式的重要性，为遏制虚假信息的传播提供了一种积极主动的方法[65]。

Liu 等人（2019）提出了一种利用 BERT 检测短篇假新闻的两阶段模型。通过将假新闻检测视为细粒度分类任务，他们解决了在简洁文本中识别误导信息的难题，为实时新闻验证提供了有价值的工具[21]。

Novo（2021 年）介绍了 MisInfoBot，这是一个新颖的系统，旨在通过监督学习分类和信息检索来打击 Twitter 上的 COVID-19 错误信息。这项工作与健康误导信息尤为相关，及时展示了人工智能应对特定误导信息挑战的潜力[23]。

Przybyla (2020) 研究了根据写作风格自动检测低可信度文档的方法。通过关注假新闻中典型的煽情和情感词汇，这项研究有助于理解区分假新闻和可信报道的文体标记[66]。

Qian 等人（2018 年）利用用户集体智能检测假新闻，提出了一种生成用户对新闻文章回复的分析模型。这一创新方法展示了模拟用户反应作为增强假新闻检测算法的手段的实用性[67]。

Shu 等人（2019）探讨了社会背景对检测假新闻的影响。他们的研究强调了出版商、新闻作品和用户之间的三方关系，说明了如何利用这些动态关系来更准确地检测假新闻。这种结合社交媒体互动的方法为传统的内容分析方法提供了一个补充视角，突出了考虑假新闻更广泛传播环境的重要性[68]。

Silva 等人（2020 年）针对葡萄牙语假新闻的挑战，提供了一个新颖的数据集，并全面分析了用于检测假新闻的机器学习方法。这项工作不仅填补了特定语言假新闻检测资源方面的空白，还深入探讨了各种分类策略的有效性，丰富了全球打击虚假信息的讨论[69]。

Zhou 和 Zafarani（2019）探讨了如何利用社交媒体中基于网络的线索进行假新闻检测，提出了一种模式驱动的方法[32]。他们通过分析传播者及其在社交网络中的关系，强调了假新闻的传播模式。这项研究不仅超越了内容分析，为假新闻检测增添了新的维度，还增强了假新闻特征的可解释性。他们的研究结果表明，结合网络层面的模式（包括节点层面、自我层面、三方层面、社区层面和整体网络模式）能有效提高假新闻检测的准确性。

每篇论文都提供了独特的视角、方法和发现，从而丰富了假新闻检测领域。从利用视觉内容和先进的 NLP 技术到结合社会背景和用户互动，这些作品共同推进了我们对假新闻动态的理解。虽然每部作品都有其背景和重点，但它们共同构成了对检测假新闻的挑战和机遇的多层面视角，为未来与生成式人工智能的交叉研究奠定了坚实的基础。