美国会研究服务处：深度伪造与国家安全

"深度伪造"（Deep fakes）--2017 年首次出现的一个术语，用于描述利用人工智能（AI）技术生成的逼真照片、音频、视频和其他伪造品--可能在未来几年带来各种国家安全挑战。随着这些技术的不断成熟，它们可能会对监督、国防授权和拨款以及社交媒体平台的监管产生重大影响。

深度伪造是如何产生的？

尽管定义各不相同，但深度伪造通常被描述为利用机器学习（ML）技术（人工智能的一个子领域），特别是生成式对抗网络（GAN）制造的伪造品。在 GAN 过程中，两个称为神经网络的 ML 系统在相互竞争中进行训练。第一个网络，即生成器，负责创建伪造数据（如照片、录音或视频片段），复制原始数据集的属性。第二个网络或鉴别器的任务是识别伪造数据。根据每次迭代的结果，生成器网络都会进行调整，以创建越来越逼真的数据。这两个网络会继续竞争，通常会进行数千或数百万次迭代，直到生成器的性能提高到鉴别器无法再区分真实数据和伪造数据为止。

尽管媒体操纵并非新现象，但利用人工智能生成深度伪造数据的做法却令人担忧，因为其结果越来越逼真，生成速度越来越快，而且利用免费提供的软件和通过云计算租用处理能力的能力，其成本也越来越低。因此，即使是不熟练的操作人员也可以下载必要的软件工具，并利用公开可用的数据，制作出越来越令人信服的伪造内容。

如何使用深度伪造技术？

深度伪造技术已被用于娱乐目的--例如，社交媒体用户将演员尼古拉斯-凯奇（Nicholas Cage）植入到他原本没有出演的电影中，以及一家博物馆生成艺术家萨尔瓦多-达利（Salvador Dalí）的互动展览。深度伪造技术也被用于有益的目的。例如，医学研究人员报告说，他们使用 GANs 合成虚假医学图像，以训练罕见疾病的疾病检测算法，并最大限度地减少患者对隐私的担忧。

然而，深度伪造技术也可能被用于邪恶目的。国家对手或出于政治动机的个人可能会发布伪造的视频，让民选官员或其他公众人物发表煽动性言论或做出不当行为。反过来，这样做可能会削弱公众信任，对公共讨论产生负面影响，甚至左右选举。

事实上，美国情报界得出结论，俄罗斯在 2016 年总统大选期间参与了广泛的影响力行动。同样，2022 年 3 月，乌克兰总统沃洛德梅尔-泽连斯基（Volodymyr Zelensky）宣布，他在社交媒体上发布的一段视频是深度伪造的，视频中他似乎指挥乌克兰士兵向俄罗斯军队投降。虽然专家们指出这种深度伪造并不特别复杂，但在未来，令人信服的音频或视频伪造可能会加强恶意影响力行动。

深度伪造还可用来为难或勒索民选官员或接触机密信息的个人。已经有证据表明，外国情报人员已经利用深度伪造的照片创建了虚假的社交媒体账户，并试图从中招募消息来源。一些分析人士认为，深度伪造照片同样可以用来制作煽动性内容--如美国军事人员参与战争罪行的令人信服的视频--旨在激化民众、招募恐怖分子或煽动暴力。美国《2021 财年国防授权法案》（P.L. 116-283）第 589F 条指示国防部长就深度伪造对军人及其家属构成的威胁进行情报评估，包括评估该技术的成熟度以及如何将其用于开展信息行动。

此外，深度伪造还可能产生一种被丹妮尔-基茨-香特伦（Danielle Keats Citron）和罗伯特-切斯尼（Robert Chesney）两位教授称为 "骗子红利 "的效应，即个人可以通过声称内容是深度伪造的方式，成功地否认真实内容的真实性--特别是当内容描述了不当或犯罪行为时。Citron 和 Chesney 认为，随着深度伪造技术的普及和公众对该技术了解的加深，骗子红利的威力会越来越大。

一些报道指出，这种策略已经被用于政治目的。例如，加蓬总统阿里-邦戈（Ali Bongo）的政治反对派声称，一段旨在展示其健康状况和精神能力的视频是深度伪造的，并随后将其作为发动未遂政变的部分理由。外部专家无法确定该视频的真实性，但一位专家指出："从某些方面来说，[视频]是否是假的并不重要......它可以被用来破坏可信度，让人产生怀疑"。

如何检测深度伪造？

如今，深度伪造通常不需要专门的检测工具就能检测出来。然而，该技术的复杂程度正在迅速提高，人工检测将变得非常困难或不可能。虽然商业界一直在投资于自动深度伪造检测工具，本节介绍美国政府的投资和活动。

《生成对抗网络识别输出法案》（P.L. 116-258）指示美国国家科学基金会（NSF）和美国国家标准技术研究院（NIST）支持对生成对抗网络的研究。具体来说，NSF 受命支持有关操纵或合成内容和信息真实性的研究，NIST 受命支持有关开发必要工具以检查 GAN 或其他合成或操纵内容的技术的功能和输出所需的测量和标准的研究。

此外，美国国防部高级研究计划局（DARPA）还有两个专门用于深度伪造检测的计划：媒体取证 (MediFor) 和语义取证 (SemaFor)。MediFor 于 2021 财政年度结束，旨在开发自动评估照片和视频完整性的算法，并为分析人员提供有关伪造内容生成方式的信息。据报道，该计划探索了识别深度伪造中存在的视听不一致性的技术，包括像素的不一致性（数字完整性）、与物理定律的不一致性（物理完整性）以及与其他信息源的不一致性（语义完整性）。MediFor 技术有望过渡到作战指挥和情报界。

SemaFor 计划以 MediFor 技术为基础，开发能够自动检测、归因和描述（即识别良性或恶意）各类深度伪造信息的算法。该计划将对语义不一致的地方（如图 1 中 GAN 生成的图像中出现的不匹配耳环，或不寻常的面部特征或背景）进行编目，并将可疑的深度伪造图像优先提交人工审核。DARPA 在 2024 财年为 SemaFor 申请了 1800 万美元，比 2023 财年的拨款少 400 万美元。SemaFor 和 MediFor 开发的技术旨在提高对敌方信息行动的防御能力。

图 1. GAN 生成的图像中语义不一致的示例