欺骗和操纵媒体一直是战时传播的一部分,但在冲突中,几乎任何行为体都有可能生成对手政治官员和军事领导人的逼真音频、视频和文本,这在以前是从未有过的。随着人工智能(AI)的日益成熟和计算成本的不断降低,"深度伪造 "对武装冲突期间的网络信息环境构成的挑战只会越来越大。

为了应对这一挑战,安全官员和政策制定者需要更深入地了解该技术的工作原理,以及它在国际武装冲突中的多种应用方式。深度伪造可用于多种目的,包括伪造军事领导人的命令、在公众和武装部队中制造混乱,以及为战争和起义提供合法性。虽然这些战术可能而且经常会失败,但它们影响对手通信和信息传递的潜力意味着安全和情报官员将不可避免地在各种行动中使用它们。

对于国家的政策制定者和官员来说,深度伪造是一项尤为艰巨的挑战。鉴于可信的信息环境对社会的重要性,政府一般都应警惕 "深度伪造",因为它有可能破坏这种信任。然而,美国等国家的安全和情报官员仍有强烈的动机部署深度伪造技术来对付对手,尤其是在武装冲突的情况下。因此,应考虑借鉴现有的国际规范和先例,制定政府使用深度伪造技术的行为准则。

此外,美国还考虑建立一个类似于 "深度伪造资产程序"的程序,大致仿照类似的网络安全程序,以确定何时利用深度伪造技术打击高知名度目标的利益大于风险。通过纳入政府各部门和机构利益相关者的观点,这种包容性的审议程序是确保负责任地使用深度伪造技术的最佳途径。

什么是深度伪造?

深度伪造之所以成为可能,完全得益于机器学习领域的最新突破。虽然这一领域历史悠久--第一篇 "机器学习 "论文发表于 20 世纪 50 年代末--但直到最近,它的前景才远远超过了它的性能。然而,在过去的 15 年里,机器学习终于实现了其最初的潜力。在多模态数据(如新闻文章、社交媒体、音频、图像和视频)的广泛应用,以及高性能中央处理器(CPU)和图形处理器(GPU)计算集群成本大幅降低的推动下,机器学习技术现已无处不在。这些技术被用于检测信用卡欺诈、为自动驾驶汽车提供动力,以及整理社交媒体馈送等多种应用。最近机器学习革命的核心是深度神经网络,通常被称为 "深度学习"。只要有足够的数据和计算能力,深度学习模型就能发挥巨大的威力,包括生成逼真的图像、音频和文本。事实上,它们是如此有效,以至于 "deepfake "一词就是由深度学习中的 "deep "演变而来。

为了生成深度伪造视频,通常使用的特定深度学习算法被称为 GAN,即生成式对抗网络的简称。虽然 GAN 有很多变体,但它们都使用深度神经网络,并遵循相同的简单架构。

随着 "深度伪造 "在愚弄人类方面越来越成功,科学家们开始开发自动检测 "深度伪造 "的技术。简单的技术包括查找深度伪造开发者所犯的错误(例如,当他们忘记删除或重置图像或视频相关元数据中记录的GPS坐标时)。稍微复杂一些的技术包括检查图像的技术属性(例如,将人脸与图像背景分开的边界区域)和所用相机的技术属性(例如,视频中存在的典型相机特征)。深度伪造检测方法还包括查找真实图像和视频与深度伪造图像和视频中人脸标志点(如鼻尖或眼球中心)之间的不一致之处,以及这些标志点与语音之间的不一致之处。其中一些方法目前运行良好。

当一种新的深层伪造检测器部署后,深层伪造者很可能会用该深层伪造检测器的一个版本替换 GAN 中的判别器,并重新训练生成器来躲避它。其结果将是一场与恶意软件类似的 "猫捉老鼠 "游戏: 当网络安全公司发现一种新型恶意软件并开发出检测签名时,恶意软件开发者就会进行 "调整 "以躲避检测器。随着时间的推移,检测--逃避--检测--逃避循环往复

深度伪造检测方法在未来极其重要。针对特定个人和目标开发深度伪造技术非常容易,而且其改进速度很快--最近通过一种被称为 "稳定扩散 "的人工智能形式进行了改进--这表明,在未来世界中,所有国家和非国家行为者都将有能力在其安全和情报行动中部署深度伪造技术。安全官员和决策者需要做好相应准备。

可能用于国际冲突

随着机器学习的功能越来越强大,成本效益越来越高,被操纵的媒体对国家安全构成的挑战也将越来越明显。在高层次上,外敌很可能在其海外影响力行动中利用廉价制作的虚假媒体。由于社交媒体的传播速度快,真实或虚假的信息往往传播迅速,导致信息级联效应,由于虚假事实似乎无处不在,可能导致其被广泛接受。事实上,否认错误信息的努力往往会导致错误信息被更广泛地传播。研究还表明,虚假信息比真实信息传播得更快。更糟糕的是,深度假新闻越好、越容易制作,任何真实的内容或信息就越容易被斥责为不真实,最终使讨论的概念变得站不住脚。深度伪造的广泛使用会损害社会的形象,破坏治理的合法性。

迄今为止,围绕深度假新闻的讨论大多集中在对社会的威胁上。然而,被操纵的媒体的轻易产生也会加剧冲突环境中的长期挑战。长期以来,虚假信息一直被用来在战争中迷惑、诋毁和削弱敌人。爱尔兰叛军声称乔治二世生病了,以破坏他作为强势领导人的形象。冷战期间,捷克斯洛伐克特工部门发布虚假信息,声称西德的主要西方政治家与纳粹合作。如今,使用深度伪造技术将使这类造谣活动更加有力。正如前文提到的泽连斯基假视频所表明的,深度伪造现在已被用于国际冲突,而且其作用在未来几年只会越来越大。国家和非国家行为者,尤其是不自由的行为者,可以出于多种目的使用深度伪造。

使战争和起义合法化。长期以来,各国一直利用虚假信息和制造愤怒作为战争的借口。1939年德国入侵波兰之前,德国党卫军军官身着波兰军服占领了一家广播电台,播放谴责德国的信息--这是一个为德国入侵辩护的 "假旗帜"。2017 年,由于电脑黑客攻击导致卡塔尔埃米尔的假语录传播,几个海湾国家开始与卡塔尔对抗。如今,更逼真的音频和视频深度伪造可以 "揭示 "入侵计划(必须先发制人)或其他邪恶意图。罗伯特-切斯尼(Robert Chesney)和丹妮尔-西特伦(Danielle Citron)举例说,一段伪造的视频显示,一名美国将军正在焚烧《古兰经》。

伪造命令。可以制作音频和视频内容,并将其放入指挥官的口中。俄罗斯的 Zelenskyy 视频显示,他指示乌克兰士兵放下武器,向入侵的俄罗斯军队投降。一些虚假命令可能包括高级领导人通过视频告诉士兵放下武器、撤退、发射不存在的化学武器,或以其他方式鼓励大规模投降,以驱散防守严密的部队,或使部队变得不堪一击。

制造混乱。当平民和士兵被指示不要理会领导人可能是伪造的指示时,他们也可能无意中忽略了合法的命令--在危险时刻制造混乱。当真实与虚构混杂在一起,让人无法分辨时,虚假信息行动最为有效。在加蓬,一个可能的深度伪造事件是该国总统发表了一个呆板、面无表情的讲话,这导致批评者质疑这位领导人的执政能力,军方试图发动政变。在这种情况下,讲话是否是深度伪造并不明确(总统可能只是生病了),可能只是不确定性导致不同的参与者对总统是否仍然适合统治得出了各自的结论。如果假新闻强化了人们现有的认知偏见,使人们难以相信令人不安的事实,比如有证据表明一位受欢迎的领导人有不良行为,那么这种混淆就更有可能发生。同样,新闻机构在报道突发新闻时可能会犹豫不决,担心自己会被 "假新闻 "所蒙蔽。事实上,正如切斯尼和香橼所指出的,深度伪造的可能性创造了一种 "骗子红利"。从本质上讲,这种无意中的混淆是虚假命令的镜像:虚假的指令没有被遵守,合法的指令却被抛弃。

在冲突期间,也可以在战术层面上制造混乱。试想一下,如果深度伪造显示了敌军士兵进入城市或在被占领城市升旗的图像。这可能会让守军认为他们的阵地无法防守,从而逃离。

分裂队伍。分裂的陆军通常战斗力低下,因此,保持单元凝聚力和团队精神是训练和领导力的重要组成部分。敌人可以制作一些内容,显示高层政治或军事领导人发表种族主义言论,对士兵和政治上司表示蔑视,嘲笑死伤者,或以其他方式诋毁他们。这类深度伪造的内容还可能显示军事领导人质疑上级的权威,或将正在进行的战斗或战争描述为失败的命题,从而导致普通士兵缺乏战斗意志。

削弱民众支持。陆军不是一个人在战斗。他们需要新兵和财政支持,也许最重要的是需要高昂的士气;他们希望被看作是在为某件事情而战。对于叛乱分子来说,民众的支持对于确保他们有足够的食物和安全通道(以躲避军事上占优势的政府军)也至关重要。深度伪造可能会显示军队侵犯人权、偏袒某一社区而非另一社区、作为懦夫逃离而非英勇战斗、抢劫和偷窃当地社区,或以其他方式背叛他们声称捍卫的事业和人民。

社会两极分化。有案例试图利用假新闻分化社会,渲染 "黑人生命至上 "集会和其他抗议活动造成的紧张局势。通过展示白人警察在枪杀手无寸铁的黑人男子时高喊种族辱骂,深度假新闻可能会加剧这种紧张局势。这种做法可能会加剧军队内部的分裂,导致人们对政治领导人的信心下降。

分裂伙伴。伙伴有不同的安全优先事项和国内政治关切,虚假内容可以渲染这些差异。例如,冷战期间,对手发布了令人信服但虚假的 "泄露 "美国官方报告,呼吁在北大西洋公约组织成员国境内使用核武器,引起了广泛的愤怒。深度伪造提供了一种可能令人信服的方式,让人们看到领导人对盟友和盟友伤亡发表不屑一顾、漠不关心的评论;嘲笑盟友的敏感问题(如难民潮或能源短缺);或以其他方式破坏双边或多边关系。

诋毁领导人。深度伪造可以用来诋毁领导人。有案例就曾使用过一种可能的深度伪造技术。深度伪造视频可以显示领导人说种族主义、冷酷无情或麻木不仁的话;对伤亡人员或政治伙伴嗤之以鼻;或以其他方式冒犯重要国家、人民和选民。

目前,最大的危险来自拥有相当技术能力的国家或可以雇佣技术能力的国家。然而,随着技术的改进和普及,小国、非国家行为者甚至个人都可能开始使用深度伪造技术。对手可能会制造士兵射杀平民的深度假新闻,或夺取领土、增强宗教对手力量或支持恐怖主义言论的计划的假新闻。质量参差不齐,但即使不那么专业,也可能制造混乱或破坏政府政策。

当然,"深度伪造 "往往会失败,即使被视为真实,也很少会成为神奇政策子弹。正如泽伦斯基的视频所显示的那样,有些深度假新闻可能很拙劣,很容易被识破。即使是制作精良的假货,其影响也可能十分有限: 托马斯-里德(Thomas Rid)对影响力活动历史的研究表明,影响力活动往往是一击即中。此外,随着受众对深度伪造和虚假信息的认识不断提高,他们的怀疑态度也会随之增强。

然而,这种怀疑反过来又会引发政策问题。由于受众被警告即使是看起来逼真的视频和音频也要怀疑,因此他们可能会对虚假和真实的传播内容产生同样的怀疑。而这种普遍的怀疑--无论是在具体情况下(士兵担心命令可能是假的,从而怀疑或推迟执行合法命令),还是在更广泛的认知情况下(例如,当人们不确定领导人的讲话是否真实时)--都会增加外交和军事行动的难度,并在总体上毒害政治。

对策和建议

深度伪造的潜在使用案例范围之广,给国家的政策制定者和安全分析人员带来了严峻的挑战。

在防御方面,防范深度伪造远非易事。在技术层面上,虽然今天仍有可能设计和训练出能够识别深度伪造图像、视频和文本的算法,但从长远来看,这种方法不太可能奏效--深度伪造图像、视频和文本的算法检测方面的任何进步都可能被植入用于生成这些图像、视频和文本的下一代算法中。最终,我们可能会达到一个终点,即检测变得不可行,或者计算密集度太高,无法快速大规模地进行检测。

相反,防御深度伪造将需要强大的数字内容认证和验证方式,以及广大公众更高的数字素养和批判性推理能力。对于安全和情报企业来说,这还需要能够确保特定音频、视频或文本的出处和监管链的系统。

深度伪造给情报分析师、记者和其他试图实时辨别真相的人带来了挑战。与危机或挑战相关的重要、看似准确的视频的出现很难被忽视,但分析人员必须谨慎。对于单一来源的信息,必须抱有更大的怀疑。鉴于存在欺骗的可能性,放慢速度并核实信息就显得更加重要,但不那么谨慎的分析人员往往会填补由此造成的信息空白,导致深度假新闻被更多人相信。同样,记者也可以效仿情报产品,讨论有关判断的 "置信度",或以其他方式更清楚地说明不确定程度。

当实时行动受到深度伪造的影响时,可以采用不同的方法。例如,可能有必要从另一个来源获取验证码等信息,以证明命令的合法性。

国家政府也应警惕在情报行动中制造和部署 "假情报",尽管 "假情报 "有其优势。即使不使用假情报,使用欺骗战术也会带来巨大风险。

被迫生成和传播深度伪造内容,应该建立强有力的监督和问责机制来管理其生成。一种方法是制定一项关于政府使用深度伪造内容的国际协议或行为准则,或许可以在联合国的主持下进行。

制定 "漏洞权益程序"(Vulnerabilities Equities Process),以管理其对发现零日网络安全漏洞的反应。由于这些漏洞可能会带来最严重的网络相关风险,政府需要制定一种逐案处理的方法,以权衡利用特定漏洞和不披露漏洞的收益和风险。

应考虑建立 "深度伪造资产程序",因为人们有理由担心深度伪造对信息环境的潜在影响,进而影响外交、政治和军事环境。生成和使用深度伪造信息的决定不能轻率作出,也不能不仔细考虑利弊得失。深度伪造的使用,尤其是旨在攻击冲突环境中高价值目标的深度伪造,将影响到广泛的政府部门和机构。每个利益攸关方都应有机会根据需要酌情提出意见。建立这样一个基础广泛的审议程序,可能是确保负责任地使用深度伪造技术的最佳途径。

成为VIP会员查看完整内容
31

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
美国会研究服务处:深度伪造与国家安全
专知会员服务
23+阅读 · 2023年11月10日
生成式人工智能,40页pdf
专知会员服务
94+阅读 · 2023年8月19日
《混合战争:国际关系中的安全和不对称冲突》300页书册
《媒体分析军事应用中的协作需求图谱》
专知会员服务
35+阅读 · 2023年5月5日
《美国应对勒索软件的政策调查与分析》
专知会员服务
16+阅读 · 2023年3月23日
《人工智能在军事武器系统中的崛起》
专知会员服务
118+阅读 · 2023年3月21日
《综述:数字孪生在攻击性军事网络战中的应用》
专知会员服务
85+阅读 · 2023年3月12日
【ICML2021-Tutorial】机器学习隐私,90页ppt
专知会员服务
37+阅读 · 2021年7月27日
【2022新书】生命科学的数据分析,511页pdf
专知
12+阅读 · 2022年11月15日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
132+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
326+阅读 · 2023年3月31日
Arxiv
115+阅读 · 2023年3月24日
Arxiv
16+阅读 · 2023年3月17日
VIP会员
相关VIP内容
美国会研究服务处:深度伪造与国家安全
专知会员服务
23+阅读 · 2023年11月10日
生成式人工智能,40页pdf
专知会员服务
94+阅读 · 2023年8月19日
《混合战争:国际关系中的安全和不对称冲突》300页书册
《媒体分析军事应用中的协作需求图谱》
专知会员服务
35+阅读 · 2023年5月5日
《美国应对勒索软件的政策调查与分析》
专知会员服务
16+阅读 · 2023年3月23日
《人工智能在军事武器系统中的崛起》
专知会员服务
118+阅读 · 2023年3月21日
《综述:数字孪生在攻击性军事网络战中的应用》
专知会员服务
85+阅读 · 2023年3月12日
【ICML2021-Tutorial】机器学习隐私,90页ppt
专知会员服务
37+阅读 · 2021年7月27日
相关基金
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员