基于生成式智能体的虚假信息社交网络：研究机遇和开放挑战

本文介绍了生成式人工智能（Generative Artificial Intelligence）在虚假信息（数字化社会的主要威胁之一）背景下可以发挥的作用。提出了一个研究框架，用于为虚假信息模拟生成定制的基于智能体的社交网络，从而在讨论公开挑战的同时理解和评估这些现象。

生成式人工智能（GenAI）的出现从根本上重塑了数字内容创作领域，影响了我们制作图像、视频、音频和文本的方式。目前，人工智能模型可以根据简单的语言提示所提供的语境制作出非常逼真的内容。GPT-4 (OpenAI)、Claude (Anthropic)、PaLM 和 LaMDA (Google)、LLaMA (Meta AI)、Chinchilla (Deep Mind) 和 Alpaca (Stanford) 等出色的 LLM 极大地增强了根据给定上下文生成文本的能力。同样，DALLE 2（OpenAI）、Stable Diffusion（Runway）和 IMAGEN（Google）等图像生成模型也引入了一种新方法，用于创建能准确描绘现实生活场景的图像。值得注意的是，Phenaki（谷歌）和 Gen-2（Runway）等文本到视频模型也取得了重大进展[1]。

这些生成技术配备了开源模型和可访问的界面，对编程、娱乐、教育和艺术等一系列领域的生产力产生了积极影响。在学术和研究领域，特别是对社会科学家而言，这些工具为创建逼真的内容、模拟人类行为或定制行为实验提供了新的机会[2]。大型企业和大学最近进行的试验凸显了这些人工智能工具在自我指导生活模拟、开放世界实验、心理研究和社会模拟等领域的潜力[3]。

在这种情况下，我们不难认为 GenAI，尤其是大型语言模型（LLMs），是应对当今社交媒体中出现的主要威胁之一（即虚假信息）的有力武器。也就是说，恶意实体利用社会网络的超级连接性，故意传播虚假或误导性信息，欺骗或操纵人们的信仰、观点或行动。最近的研究表明，这些欺骗技术在社交媒体中非常有效，例如在政治选举中[4]。

在本研究中，将深入探讨 LLMs 作为一种创新方法在受控实验环境中理解、模拟和评估虚假信息的潜力[5]。在传统背景下，虚假信息主要围绕假新闻传播和影响的理论建模，以及利用社交媒体数据进行检测和评估。这一领域要解决几个问题，包括审查事件的复杂性，因为没有真相基线来确认影响活动的目标、策略和参与者；缺乏各种操纵行为的标记数据集；在第三方平台测试技术对策的不可行性；或必须有人参与才能衡量欺骗活动的认知影响[6]。

反之，LLM 正被用于用体现人类行为的智能体来真实地统治系统，取代数学模型和静态实验[7]。这一进步为创建控制信息交换的上下文、用户和功能的任何信息环境打开了大门，导致基于智能体的生成式社会网络成为沙盒。在这些受控场景中，可以对红色智能体进行编程，以模拟定制的虚假信息攻击，从而进一步分析其演变过程和对个体网络的影响。因此，我们认为 LLM 有可能缓解虚假信息领域的一些普遍挑战。本文深入探讨了研究机会，并指出了实现这些设想目标所面临的尚未解决的突出挑战。

研究机会

随着 GenAI（特别是 LLMs）的进步，本文阐明了这些技术在社交媒体和虚假信息研究方面的潜在研究机会。

O1. 基于智能体的生成式社会网络

基于智能体的社会系统的创建涉及开发和实施计算模型，模拟社会背景下个体的互动和行为[2]。这些系统通常旨在模拟真实世界的社会动态，从而探索和分析复杂的社会现象[7]。

传统的智能体系统虽然有助于模拟社会动态，但也存在局限性。它们依赖于预定义的规则，这限制了它们模拟现实世界中不可预知性的能力、适应性和可扩展性。然而，LLM 可以增强这些智能体的自主性，让它们在预设规则的范围之外做出独特的反应或行动，从而使模拟更加动态和逼真[3]。此外，它还能模拟错综复杂的决策过程或实现 OODA（观察、定向、决策、行动）循环，使智能体能够对广泛的情况和互动做出反应。

LLM 为模拟任意数量的用户和创建逼真的有机互动提供了一个独特的机会，这项任务在过去具有相当大的挑战性，但如今却可以生成基于智能体的社会网络。人工智能驱动的智能体具备适应流动场景的能力，能产生连贯、多变和逼真的沙盒[8]。在图 1 中，使用 GPT4 和三个随机用户启动了一个模拟。从零开始，在没有任何背景的情况下，每个智能体都能感知模拟的社交网络，保留其感知和行动的记忆，并据此进行互动或发布内容，从而更新模拟环境。

图 1. 由 GPT-4 管理的三个智能体用户的合成社交线程

O2. 可定制的虚假信息环境

基于生成式智能体的社交网络为再现量身定制的情境（如虚假信息情境）提供了重要机会[9]。这一过程可能涉及三个组成部分：智能体描述和属性、共同语境信息和逻辑规则。

首先，智能体的描述和属性是每个智能体个体行为的驱动力。这些因素千差万别，可能包括智能体的网络角色（人类用户、组织或机器人）、背景、简介、思想、社会人口特征和行为[6]。仔细定义这些属性，就能产生多种多样的智能体，准确地代表现实世界社交网络中的用户[8]。不仅可以模拟来自不同意识形态、国家或年龄的多样化用户，还可以模拟具有恶意目的的用户，如制造争议、进行非法互动以支持未经证实的主张或有机生成阴谋内容。关于恶意用户，DISARM 框架可配置不同类型虚假信息攻击的战术、技术和程序（TTPs），例如，计划战略和目标、目标受众分析、开发叙事和内容、建立社会资产和合法性、微目标和选择渠道、提供内容、最大化曝光和在信息环境中持续存在。

此外，共同背景信息提供了塑造环境的更广泛的社会和群体方面[10]。它包括事件、事实、社会经济因素和其他影响智能体在网络中的行为和互动的要素。例如，上个月失业率大幅上升，战争爆发，或由于假新闻的日益猖獗而导致社会两极分化。此外，还可以诱导虚假信息传播背后的因素，如情绪因素、不确定性、缺乏控制或偏见。多种变量和因素的结合有助于制作一个特定的真实场景，模拟虚假信息是如何传播的。

同时，逻辑规则决定了信息环境的设置和运行，从而迫使这些复杂系统在真实世界中运行[7]。生成信息的数量和用户参与互动的概率可以是高级参数，用于影响社交网络的动态、影响力、扩散以及信息在网络中共享和传播的其他方面[11]。这些规则配置智能体的行为，从而影响社交网络的整体动态。

考虑一个选举舞弊场景。首先，定义智能体属性，包括普通公民、政治活动家、散布虚假信息的机器人和官方选举账户的特征，每个人都有独特的特征和行为。这就为 LLM 所利用的每个用户创建了特定的上下文。其次，LLM 在交互过程中还会考虑到背景信息，如选举在即、潜在的投票违规行为和当前的政治气候。最后，还设定了管理信息共享、影响确定和网络对新信息的响应的逻辑规则，以编制模拟和 LLM 使用的工作流程。

O3. 评估虚假信息的影响

使用 LLM 和基于智能体的社会场景为在受控场景内研究虚假信息提供了一个难得的机会，这主要是由于在真实世界环境中评估这些攻击的复杂性。具体来说，根据上述 DISARM 框架，虚假信息攻击的最后阶段是评估效果。

具体来说，虚假信息策略往往与常规信息流交织在一起，因此区分、隔离和分析其实际影响具有挑战性。另一方面，模拟环境提供了一个安全可控的环境，可以引入和研究不同类型的虚假信息攻击，而不受现实世界的相关限制[11]。它还为实验新的欺骗理念提供了一个独特的试验场。事实上，从这些研究框架中可以生成合成的标注数据集，不过需要人工审核或半自动系统对其进行评估[12]。

此外，在虚拟沙盒中，可以调整和跟踪各种变量，如 TTP、强度和操纵操作的性质，以及智能体的属性和上下文。通过采用适当的框架和模型，可以估算出特定虚假信息策略的有效性。此外，还可以仔细研究智能体概况或情景背景等变量的影响[5]。

图 3 展示了两个智能体在面临选举舞弊威胁时的观点演变过程，这两个智能体分别是 40 岁的公民和愤怒的青少年。每个人一开始都对选举结果有自己的看法。成人起初保持中立，尽管受到了虚假信息的干扰，但他仍然对系统抱有信心，因为他的观点更加详尽。相反，预先设定了愤怒情绪的青少年在与社交网络互动后，反映更为简单，并开始质疑选举结果的合法性。这个例子表明，情绪状态、年龄和对预期结果的确认偏差等因素会在很大程度上影响对虚假信息的易感性和观点的改变。

图 3. GPT-4对智能体意见管理中虚假信息的影响

O4. 技术反制措施测试

在基于智能体的社交网络中，可以模拟并独立配置针对虚假信息的技术反制措施（对策），而无需依赖大型公司[9]。DISARM 框架提出了应对技术措施，如内容静音、删除、限制相同内容的传播率、创建竞争性叙述、实时事实核查或为内容添加元数据。也就是说，所有这些应对措施都可以在模拟中进行测试。

从这个意义上说，LLM 具有创建良性智能体的优势，而这些智能体可以作为打击虚假信息的有力辅助工具。这些智能体可以提供另一种说法，为误导性信息添加上下文，根据可信度、情感或真实性对信息进行实时检查，并利用其分类能力标记可疑内容[12]。在图 4 中，我们命令 GPT-4 模拟对第一条投票舞弊信息进行事实检查，并为巨魔帖子添加上下文横幅。此外，它还会根据情感和真实性对每条信息进行分类。两个智能体的意见不再受到有关选举的阴谋论的干扰，在两种情况下都对民主结果保持信心。

上述模拟缓解技术可在受控沙盒中进行评估，以证明其在虚假信息环境中的有效性。在没有保护措施的情况下（图 3）和有反制措施的情况下（图 4），对智能体接触虚假信息时的信念和反应进行比较，可以证明应对策略的有效性。从这个意义上说，事实核查、上下文信息和内容标记等保护机制消除了成年公民的不确定性或青少年表达的疑虑。此类比较研究可为制定更有效的反虚假信息战略提供宝贵的见解。

图 4. 在 GPT-4 管理的虚假信息环境中采取反制措施的效果

O5. 辅助个性化认知培训

网络安全意识和认知培训为提高人类能力提供了解决方案，特别是在使用云、移动、物联网和社交网络等技术生成的复杂系统中，因为这些技术会产生海量信息。意识是一个在心理学中定义明确的概念，已成为多项研究的主题，旨在将其原理转化到网络安全领域。特别是，需要采取教育干预措施，在社交媒体和虚假信息场景中培养这种意识。通过评估安全指标，可以了解网络安全的现状，预测安全风险、潜在攻击以及随着时间推移可能产生的影响[9]。

在这种情况下，基于智能体的生成式社交网络可以成为旨在改进社交媒体安全培训和认知意识课程的教育框架的基础。具体来说，现实世界中的受训者可以在这些真实场景中学会识别误导性信息、识别潜在偏见或辨别两极分化的情况。此外，虚假信息环境可以由 LLM 支持，以适应特定个人或群体的需求，在培训期间提供明确的帮助，并根据学生的行动、反应和表现，在网络演练过程中允许一定程度的灵活性。

图 5 显示了 GPT-4 根据两个不同用户的个人需求量身定制的基于选举舞弊的指导性培训练习，这两个用户分别是第一次参加投票且不习惯使用社交媒体的青少年和每天在社交网络上花费八小时的资深政治影响者。前者缺乏经验，不了解政治话语的复杂性，可能尚未发展出批判性思维来辨别误导性和情绪化的说法。后者意识到了政治的复杂性和当前的两极分化，需要提高认识才能正确行事，避免进一步助长社会分裂。出于教育目的，该系统可以利用 LLM，在飞行过程中根据个人描述进行调整，提供实用的背景标语，并显示精确的理论课程。这种适应性可确保实际情况的复杂性不断变化，以应对学生在连续练习中回答问题时发现的挑战，从而实现持续学习。

图 5. 基于 GPT-4 的智能体对人类进行虚假信息培训

开放性挑战

如前所述，LLM 为推动虚假信息研究提供了令人兴奋的机遇。此外，所述机遇可以映射到基于智能体的生成式社交网络的高级框架中。具体来说，图 6 所示的框架由五个相互关联的模块组成，每个模块都具有一定的特性和功能。首先，"定义 "组件负责对组成框架的实体进行建模，然后在模拟环境中重新创建。也就是说，模拟块包含模拟实体，即 LLM 驱动的智能体、社交网络本身和虚假信息模块，而虚假信息模块又包括进攻和防御框架。值得注意的是，机会 O1 与生成智能体和社交网络的模拟有关，而进攻框架则与机会 O2 绑定。然后，仿真模块负责从认知、社会和防御角度评估模拟环境中的整体情况。在这里，认知和防御评估分别与机会 O3 和 O4 对应。最后但同样重要的是，"开发 "模块将该框架与其他有价值的工具连接起来，以充分发挥其潜力，并从不同角度让人类行动者参与其中。在我们的设想中，这样一个组件包含可视化模块、社交媒体可视化界面、培训平台（即与机遇 O5 相关的网络范围）和实时网络态势感知（CSA）模块。

事实上，图 6 显示了拟议概念框架与分析机会之间的紧密联系。然而，将这些机遇整合到虚假信息领域也会面临一些挑战，需要认真考虑。图 6 也突出显示了这些挑战，包括每个模拟实体。在本节中，将对主要挑战进行细致描述，并添加提示以帮助研究人员解决这些挑战，从而研究并在可能的情况下减轻数字环境中的虚假信息威胁。

图 6. 基于智能体的生成式社交网络的机遇与挑战概念框架

C1. 智能体建模、模拟和评估

首先，对 LLM 驱动的智能体在虚假信息背景下的行为建模可以说是一个难题。事实上，这种建模应考虑与模拟智能体的不同个性有关的几个方面。从这个意义上说，必须定义每个智能体的个人特征，如年龄、性别、兴趣和个人信仰等。这些特征至关重要，可能会影响智能体在模拟社交网络中的行为和态度，这一点已在前面有关研究机会的示例中说明。此外，每个智能体都应具备属性和目标，并将利用这些属性和目标做出决策、形成观点以及与总体模拟进行交互。也就是说，还应考虑智能体的异质性，如不同程度的影响力、可信度和易受说服性。从这个意义上说，有效的提示设计对于沟通和塑造 LLM 驱动的智能体至关重要。特别是，最好能结合上下文信息来促进智能体的行为，并在提供极其具体的指示与允许创造性和动态性之间取得平衡。然而，由于 LLM 的内部过程是随机的，因此以清晰、可解释的方式设计和实施行为是一项艰巨的任务。

此外，模拟这些智能体也是一项挑战。在图 6 中，我们将模拟生成智能体与模拟环境进行持续互动。特别是，它们会感知来自社交网络的一些信息，并因此根据自身特点采取行动。从这个意义上说，虚假信息研究中最重要的问题之一在于理解和模拟虚假信息是如何在社交网络中传播并影响个体的。从这个意义上说，将心理模型和认知理论整合到 LLM 中，为模拟和研究驱动人类接收、分析和传播虚假信息的心理机制提供了一个难得的机会[9]。

一个明显的例子是利用认知偏差来塑造生成智能体的个性，如确认偏差或可得性偏差[13]，这将对研究人员大有裨益，他们将能够重新生成与预先存在的信念或容易获取的信息相一致的有机虚假信息内容。例如，可以对 LLM 进行编程，使其生成有说服力的虚假（或半真实）叙述，从而利用个人的确认偏差，强化其现有观点，进而影响其决策过程。通过这种方式，该模型可以生成与特定目标受众相呼应的量身定制的虚假信息，从而提高虚假信息被消费和传播的总体概率。此外，LLM 还可以借助认知理论来识别人类决策过程中的漏洞。具体来说，法律信息模型可以模拟人类内在的认知限制或启发式方法，例如有界理性（影响次优决策）或可用性启发式方法（影响情感决策过程）。这样，LLMs 就能生成威胁性的虚假信息，试图利用这些弱点作为最终目标。举例来说，虚假信息内容可以利用个人有限的注意力，使他们由于时间限制和缺乏详尽的事实核查而更容易受到这种威胁。尽管如此，这些认知机制对智能体的模拟和行动的影响也应加以衡量（最好加以调整），以实现逼真的模拟。

C2. 社交网络建模、模拟和监测

为了研究在虚假信息背景下使用 LLM 的情况，并在可能的情况下打击这种现象，必须对现实的社交网络进行模拟和建模。显然，这些过程相当复杂，因为现代社交网络包含一些固有特征，在模拟时需要特别注意。从这个意义上说，如图 6 所示，信息环境是概念框架的核心组成部分。具体来说，它与智能体双向互动（通过通知相关社会事件和接收更新），并从红色框架（注入虚假信息）和蓝色框架（通过部署技术对策保护信息生态系统）获得输入。

特别是，研究人员应设计和开发有意义的模型，模拟用户互动和交流模式，以捕捉社交网络的复杂性[7]。开发包含互动、推荐、传播和社会影响动态的代表性社交网络模型，对于准确模拟虚假信息在社区内的传播至关重要。这项任务主要包括分析以下内容：

• 直接交流： 捕捉用户如何通过消息、评论或直接互动进行直接交流。这一特征反映了社交网络中的个人联系和对话。
• 信息共享： 模拟用户之间如何共享和传播（非）信息。这包括在网络中分享链接、文章或任何其他内容。
• 用户参与： 捕捉用户对不同类型内容的参与。这包括用户与不同帖子、评论或讨论的互动。

显然，所有这些事件都应通知到智能体，由其感知信息并动态调整自己的行为，从而执行相应的操作。在这一循环中，强迫智能体采取特定的微调行为显然是复杂的，尤其是考虑到复杂的社交网络中同时存在大量事件和多个模拟用户。另一方面，信息环境是红色框架的目标，例如，根据 DISARM 分类法生成虚假信息。当然，这种威胁也可能是由参与社会环境的 LLM 智能体产生的。在这种情况下，模拟网络应能适应虚假信息的注入，修改上述用户之间的互动和交流模式。此外，作为虚假信息活动的后果，蓝色框架会部署技术反制措施。从这个角度看，社交图谱也应能够根据所选反制措施的性质进行动态调整。

最后但并非最不重要的一点是，必须研究和评估虚假信息的扩散和放大，如影响力和回音室。更具体地说，信息扩散是指信息通过社会网络从一个实体传播到另一个实体的过程。就虚假信息研究而言，评估虚假信息内容如何在社交网络中传播和放大尤为重要。要实现这一宏伟目标，考虑到大量用户和关系，每当发起虚假信息活动时，监控整个社交图谱的状态至关重要。

C3. 虚假信息建模、模拟和评估

要充分利用虚假信息研究的能力，可以说，对虚假信息活动进行建模和模拟是该框架的核心要素。然而，从设计和技术角度来看，这些过程都具有挑战性。

从第一项任务开始，虚假信息建模显然是文献中众所周知的研究课题。然而，正如图 6 所示，它与智能体之间的关系也提供了巨大的研究机会和挑战。具体来说，设计虚假信息攻击和反制措施至关重要，因为它们应该在社交网络中真实模拟，以研究其动态并衡量其影响。一方面，必须确定虚假信息攻击的主要目标和范围。在这方面，所涉及的人群（及其内在属性）、目标社交渠道和攻击持续时间对于创建一个逼真的模型至关重要。一旦确定了目标，该模型就应能够创建与目标相一致的虚假信息内容，同时考虑到信息的含义（如文章、帖子等）和信息本身（如语气、风格等）。在这一阶段，DISARM 框架可以帮助塑造虚假信息攻击，此外，还可以使模型具有可复制性，并随时与研究界共享。

另一方面，我们也考虑了防御的观点，因为我们相信模拟智能体可以成为部署反制虚假信息攻击的主要行动者。与红色框架相反，蓝色框架无法与通用框架联系起来，因此，除传统的事实核查、媒体审查、内容删除等措施外，提出更多的应对措施也是这一过程的挑战之一。一旦正确建模，就必须在社交网络中模拟防御行动，以便可能发现智能体的行为差异和反应，例如，反制措施有效，智能体理解了虚假信息攻击，或者相反，他们拒绝反制措施，信任虚假信息宣传。触发临时和无代理反制措施的可能性也很吸引人，以便观察是否出现任何社会动态变化。

建模和模拟阶段结束后，评估社会图谱中虚假信息攻击和反制措施的有效性或低效性至关重要[14]。要实现这一目标，第一站就是创建有意义的指标，以衡量其对生成智能体的行为和动态的影响。例如，从个体和群体的角度评估不同的虚假信息攻击（如针对不同主题、具有不同模式等）对智能体的感知和随之采取的行动的影响将是有益的。从这个意义上说，要完成这项任务显然是很困难的，这主要是由于社会互动的复杂性、行为模拟的多样性以及可能的攻击等等。同样，每当启动一项反制措施时，系统都需要对其有效性进行监控和评估。即使在这种情况下，社交网络的内在特性也会使任务更加艰巨。此外，可以说不同的反制措施（如社区标签、事实核查等）会对社交互动产生不同的影响，从而增加了评估过程。然后，应评估攻击-防御模式的效果。具体来说，一旦虚假信息攻击和补救措施的模型和模拟都取得成功，交替执行不同模式的红蓝任务就值得关注。

结论

本文讨论了 LLM 对虚假信息研究的影响。从生成可定制的虚假信息环境，到基于这些环境对用户进行意识培训，有许多研究方向可能真正具有开创性。不过，文献也指出了使用这些技术的一些伦理问题。其中有些是很普遍的问题，比如将其用于欺骗目的或传播社会偏见[14]，而另一些则可能是虚假信息领域特有的问题，比如它有可能将这项研究武器化。

一般来说，使用 LLMs 存在固有风险。正如由专家和公众人物签署的《人工智能风险声明》所反映的那样，欺骗性风险是多方面的、复杂的。这对社交工程、社交媒体和认知安全的影响尤为明显，这些领域由于依赖数字内容和用户的内在信任而十分脆弱。主要威胁可能包括人工智能驱动的鱼叉式网络钓鱼、深度假冒、大规模虚假信息活动或人工智能驱动的系统漏洞利用[15]。生成性误用能够为欺骗目的制造超逼真的内容，对网络生态系统构成新的威胁[14]。其危险性在于它们不仅能制作逼真的内容，还能制作符合语境和针对受众的内容，从而增加成功欺骗的可能性。2023 年 6 月的一个案例是普京令人信服的深度伪造视频，其目的是虚构乌克兰入侵俄罗斯领土的动员信息，并成功渗入主流新闻频道。更具体地说，这项研究的潜在发展也可用于负面目的，例如将模拟环境与真实社交网络连接起来，以策划虚假信息宣传活动，或分析哪种虚假信息攻击能对某些总统候选人的投票产生最大影响。

这种紧张关系经常出现在适用双重用途困境的研究场景中，例如在网络安全方面，研究网络攻击以找到适当的防御方法，或试验可用于治疗的新药物。因此，考虑到目前存在的伦理问题，在这种背景下开展的研究应仔细论证，并以有益于社会的应用为目标，例如调查技术或人为对策的效果，以减少虚假信息的传播，或开发提高认识的培训工具，以提高我们普通民众的信息素养技能。最终，这些应用将需要被最终用户所采用，因此，我们应采用以人为本的方法，并掌握使用这些工具所需的扫盲技能。

总之，本文认为，虚假信息和 LLM 是一个很好的组合，有许多潜在的研究应用，可以发展成为有影响力的工具。然而，技术、人类和伦理方面的挑战也是巨大的，需要在未来十年开展前沿研究，以超越上述差距。如果研究得当，这项多学科研究将有助于对抗对 21 世纪社会构成重大威胁的虚假信息危险。