2022.5最新发布《人工智能在美国防部（DoD）网络任务中的应用》微软，提出系列针对美国国防部网络安全的发展建议

摘要

2022年5月3日，在美国参议院军事委员会网络安全小组委员会上，微软首席科学官埃里克-霍维茨（Eric Horvitz）就人工智能在美国防部网络任务中的使用进行了作证。其书面证词如下。

开场白

以下为Eric Horvitz证词：

Manchin主席，Rounds高级委员，以及小组委员会成员，感谢你们给我这个机会分享关于人工智能（AI）对网络安全影响的见解。我赞同小组委员会就这一极其重要的议题举行听证会。微软致力于与你们合作，帮助确保人工智能和网络安全的新进展更广泛地惠及我们的国家和社会。

我的观点建立在我在工业界、学术界、科学机构和政府工作的经验之上。作为微软的首席科学官，我对处于我们认识前沿的科学进步和趋势，以及在技术、人和社会的交汇处出现的问题和机会提供观点。几十年来，我一直在追求和管理关于人工智能技术的原理和应用的研究，从我在斯坦福大学的博士工作开始。我曾担任国家人工智能安全委员会（NSCAI）的专员，曾任人工智能促进协会（AAAI）主席，主持美国科学促进会（AAAS）的计算、信息和通信分会。我是美国国家工程院（NAE）和美国艺术与科学学院的成员。我目前在总统科技顾问委员会（PCAST）和国家科学院的计算机科学和电信委员会（CSTB）任职。

在我的证词中将主要涉及人工智能和网络安全交汇处的四个关键关注领域，这些领域需要更深入的理解和深思熟虑的行动。

• 用人工智能推进网络安全
• 利用人工智能来推动网络攻击
• 人工智能系统受攻击的脆弱性
• 人工智能在恶性信息操作中的使用

在涉及这些主题之前，我将提供关于网络安全状况和人工智能最近进展的简要更新。最后，我将以对发展方向的思考来结束我的证言。

1. 网络安全的变化形势

对计算系统和基础设施的攻击在复杂性、速度、频率和规模上继续增长。我们已经看到了旨在破坏关键基础设施和访问机密数据的新攻击技术和新攻击面的利用。[1]仅在 2021 年，在 AI 技术的支持下，Microsoft 365 Defender 套件就阻止了超过 96 亿个恶意软件威胁、357 亿封网络钓鱼和恶意电子邮件，以及 256 亿次针对企业和消费者设备劫持客户帐户的尝试。 [2],[3] 多份独立报告描述了不同形式网络攻击的性质和状态。[4]正如微软最近的数字防御报告中所详述的那样，[5] 网络犯罪分子和一些国家行为者继续调整他们的技术以利用新的漏洞和对抗网络防御。

为了帮助缓解这些令人担忧的趋势，美国政府已经采取了重大措施来保护网络生态系统。国会颁布了网络空间Solarium委员会提出的几项建议，如创建国家网络主任办公室和颁布网络事件报告立法。一年前，政府发布了行政命令（E.O.）14028，改善国家的网络安全，该命令指示各机构制定和实施各种举措，提高各领域的网络安全标准，如供应链安全，并要求各机构采用零信任模式。微软一直在努力工作，以满足E.O.中规定的网络安全的最后期限，我们支持这些努力，以鼓励对不断变化的网络威胁作出一致的反应。

我们预计将面临新型性和持续的国家和非国家行为者的长久攻击，他们将试图用最新的可用技术攻击计算系统。我们需要积极主动地工作，以应对威胁，并注意到系统、技术和使用模式的变化。关于后者，随着日常工作的交织，在线工作和个人活动之间的流动性越来越大，网络安全挑战也随之加剧。[6] 随着COVID-19大流行病的到来，向混合工作模式的大规模转变使工人进一步远离了传统的受控环境。网络安全解决方案必须使人们能够从各种非传统的地点通过各种设备进行有效和安全的工作。

2. 人工智能的进展

人工智能是计算机科学的一个领域，专注于开发解决通常与人类认知有关任务的原理和机制，如感知、推理、语言和学习。自 "人工智能 "这个短语首次被用于一项筹资提案以来的67年里，人工智能理论和应用已经取得了许多里程碑式的进展，该提案为该领域提出了一个令人惊讶的现代愿景[7] 。

尤其在过去的十年中取得了特别惊人的进展，横跨机器视觉（如物体识别）、自然语言理解、语音识别、自动诊断、推理、机器人和机器学习--从数据中学习的程序。在人工智能的各个子学科中，许多令人印象深刻的成果都归功于一种名为深度神经网络（DNNs）的机器学习方法。在大量数据和计算资源的推动下，DNNs已经实现了前所未有的准确性。

准确性方面的突破包括在一些特定的基准上超过人类基线的表现，包括跨越视觉和语言子任务的技能集。AI的进步速度甚至让经验丰富的专家感到惊讶。

核心人工智能能力的飞跃导致了令人印象深刻的示范和现实世界的应用，包括旨在为决策者提供建议的系统，生成文本和视觉内容，以及提供新形式的自动化，如控制自主和半自主车辆。

人工智能技术可以被利用来为现有的工作流程和过程注入新的效率和效益。这些方法也可以被用来引入根本性的新方法来应对长期的挑战。 如果以负责任和有见地的方式部署，人工智能技术可以提高我们公民的生活质量，增加我们国家和世界的活力。 例如，人工智能技术通过为医生提供诊断挑战方面的帮助、优化疗法方面的指导以及关于蛋白质结构和相互作用的推断，在加强医疗保健方面显示出巨大的前景，从而研制新的药物。

人工智能的进步对美国防部、我们的情报界和我们更广泛的国家安全有重要影响。像任何技术一样，人工智能不断上升的能力对朋友和敌人都是可用的。因此，除了利用人工智能为人类和社会做出有价值的贡献外，我们必须继续努力了解和解决这些技术被恶意行为者和对手用来破坏、干扰和摧毁的可能性。人工智能对网络安全有着重要的影响，因为这些技术既可以为防御网络攻击提供新的力量，也可以为对手提供新的能力。

3. 用人工智能推进网络安全

在网络安全应用中利用人工智能的价值正变得越来越明显。在许多能力中，人工智能技术可以提供对攻击期间产生的信号的自动解释，对威胁事件进行有效的优先级排序，以及适应性反应，以解决对手行动的速度和规模。这些方法在迅速分析和关联数十亿数据点的模式方面显示出巨大的前景，以追踪各种各样的网络威胁。此外，人工智能可以不断地学习和适应新的攻击模式--从过去的观察中汲取洞察力，以检测未来发生的类似攻击。

3.1 协助和补充劳动力

人工智能技术所带来的自动化和大规模检测、优先级和响应的力量，不仅可以减轻网络安全专业人员的负担，还可以帮助解决日益严重的劳动力缺口问题。关于目前网络劳动力面临的挑战：美国劳工统计局估计，从2020年到2030年，网络安全工作机会将增长33%，是全国平均水平的6倍多。[8] 然而，进入该领域的人数并没有跟上。根据2021年10月发布的2021年(ISC)2网络安全劳动力研究报告，全球缺少272万名网络安全专业人员[9] 。

那些优先考虑网络安全的组织24小时进行安全运营。但是，需要分析的警报远远多于需要的分析师，这就导致错过了警报，从而演变成漏洞。趋势科技在2021年5月发布了一项针对安全运营中心决策者的调查，结果显示，51%的人认为他们的团队被大量的警报所淹没，55%的人对他们有效地优先处理和应对警报的能力没有信心，27%的时间是用来处理误报的。

人工智能技术使防御者能够有效地扩展他们的保护能力，协调和自动处理耗时、重复和复杂的响应行动。这些方法可以使网络安全团队在更相关的时间范围内处理大量的经典威胁，减少人工干预，取得更好的效果。这种扩展支持可以使网络安全专业人员解放出来，专注并优先处理那些需要专业知识、批判性思维和创造性解决问题的攻击。然而，还应该额外关注一般的网络安全培训、安全意识、安全开发生命周期实践和模拟培训模块，包括使用AI来运行智能和个性化的模拟。

3.2 多阶段安全中的人工智能

今天，人工智能方法正被用于安全的各个阶段，包括预防、检测、调查和补救、发现和分类、威胁情报以及安全培训和模拟。我将依次讨论这些应用中的每一个。

预防。预防包括努力减少软件对攻击的脆弱性，包括用户身份和数据、计算系统端点和云应用程序。目前，人工智能方法被用于商业化的技术中，以检测和阻止已知和以前未知的威胁，以免造成伤害。2021年，AV-测试研究所观察到超过1.25亿个新的恶意软件威胁。[11] 机器学习技术从过去的模式中归纳出捕捉新的恶意软件变种的能力是能够大规模保护用户的关键。

例如，去年微软365防御系统成功阻止了一个文件，该文件后来被确认为GoldMax恶意软件的一个变体。Defender从来没有见过GoldMax的新变体。该恶意软件是利用人工智能模式识别器的力量与一种被称为 "模糊散列 "的技术--一种提取恶意软件指纹的手段--而被捕获和阻止的。[12] 需要注意的是，GoldMax是在网络上持续存在的恶意软件，它通过冒充系统管理软件的活动而佯装成 "计划任务"。这种隐藏在计划任务中的做法是NOBELIUM的工具、战术和程序的一部分。

在其他工作中，我们发现，人工智能方法可以提高我们检测复杂的网络钓鱼攻击的能力。网络钓鱼攻击以社会工程为中心，攻击者创建一个假的网页或发送一个欺诈性的信息，旨在欺骗一个人向攻击者透露敏感数据或在受害者的设备上部署恶意软件，如赎金软件。为了帮助保护人们免受有害URL的影响，AI模式识别器已被部署在浏览器和其他应用程序中，作为其安全服务的一部分。人工智能方法可以提高检测率，同时降低假阳性率，这可能会使最终用户感到沮丧。

检测。检测包括识别可疑行为并在其发生时发出警报。目标是对攻击作出快速反应，包括确定攻击的规模和范围，关闭攻击者的入口，以及补救攻击者可能已经建立的立足点。检测可疑活动的关键挑战是在通过寻求高准确率的安全警报与错误警报之间找到适当的平衡。人工智能方法在检测中被用来(1)分流对潜在攻击警报的关注，(2)识别长期以来作为更大和更长时间的攻击活动一部分的多次入侵尝试，(3)检测恶意软件在计算机或网络中运行时的活动指纹，(4)识别恶意软件在组织中的流动，[14]以及(5)在需要快速响应以阻止攻击传播的情况下指导自动化方法进行缓解。例如，如果检测到一连串已知与勒索软件活动有关的警报，就像银行可能拒绝一笔看似欺诈性的信用卡交易一样，自动化系统可以关闭网络连接并控制设备。

今天有几种技术可以帮助检测攻击。我将使用微软365防御者的能力作为一个例子。一组神经网络模型被用来检测正在进行的潜在攻击，它融合了关于计算系统内活动的多种信号，包括进程的启动和停止、文件的更改和重命名以及可疑的网络通信。其目的是检测有关传播模式的信号，并通过隔离可能受感染的机器和提醒安全专家进行调查来关闭感染。由于许多合法的操作可能看起来像恶意软件的横向移动，简单化的方法可能有很高的假阳性率。人工智能系统可以帮助提高捕获率，阻止这些蔓延的感染，同时减少假阳性率。

作为一个最近的例子，在2022年3月，微软利用其人工智能模型识别了一个归于俄罗斯行为者的攻击，微软跟踪的是Iridium，也被称为Sandworm。 美国政府将铱星公司的活动归咎于一个据称位于俄罗斯联邦武装部队总参谋部GRU 74455单位的团体。该行为人在位于利沃夫的一家乌克兰航运公司部署了恶意软件。刮刀式恶意软件会清除它所感染的计算机上的数据和程序。据记录，第一次遇到这种恶意软件是在一个运行微软卫士并启用云保护的系统上。Defender中的机器学习模型集合，结合客户和云端的信号，使微软能够在第一时间阻止这个恶意软件。

调查和补救。调查和补救是在漏洞发生后使用的方法，为客户提供对安全事件的整体了解，包括漏洞的程度、哪些设备和数据受到影响、攻击如何在客户环境中传播，并寻求威胁的归因。迄今为止的工作包括从组织内部和跨组织收集数据的多种工具。使用人工智能进行调查和补救是一个有前途的开放研究领域。

威胁情报。威胁情报使安全研究人员能够通过跟踪活跃的恶意行为者，有时故意与他们接触并研究他们的行为，从而保持对当前威胁状况的关注。今天，微软积极跟踪20个国家的40多个活跃的民族国家行为者和140多个威胁集团。[22],[23] 人工智能方法有助于从多个信息源和跨机构的情报共享中识别和标记实体。人工智能模型通过识别不同活动之间的相似性来学习和推断高层关系和互动，以加强威胁的归因，显示了其前景。

序号	建议1：推进人工智能方法的开发和应用，抵御网络攻击
1	遵循网络安全卫生的最佳实践，包括实施核心保护措施，如多因素认证。加强安全团队，定期测试备份和更新补丁，测试事件响应计划，并限制互联网访问不需要互联网连接的网络。
2	投资培训和教育，以加强美国网络安全的劳动力，包括传统和人工智能系统的网络安全教育和培训计划。
3	投资机器学习、推理和自动化的研发，以检测、响应和保护网络攻击杀伤链的每一步。
4	鼓励建立跨部门的伙伴关系，以促进围绕网络安全经验、数据集、最佳实践和研究的分享和合作。
5	制定专门针对网络安全的基准和排行榜，以验证研究和加速学习。

4. 以人工智能为动力的网络攻击

虽然人工智能正在提高我们检测网络安全威胁的能力，但随着网络安全攻击的复杂性增加，组织和消费者将面临新的挑战。到目前为止，对手通常以人工方式使用软件工具来达到他们的目的。他们已经成功地渗入了美国公民的敏感数据，干扰了选举，并在社交媒体上传播宣传，而没有复杂地使用人工智能技术。[26],[27],[28] 虽然到目前为止，关于人工智能在网络攻击中的积极使用的信息很少，但人们普遍认为，人工智能技术可以通过各种形式的检测和自动化来扩大网络攻击。网络安全社区内的多项研究和游戏工作已经证明了使用人工智能方法来攻击计算系统的力量。这一领域的工作被称为进攻性人工智能[29],[30] 。

4.1 攻击性人工智能的方法

攻击性人工智能方法很可能会被当作推动和扩大网络攻击的工具。 我们必须做好准备，他们将利用人工智能方法来增加攻击的覆盖面、攻击的速度和成功的可能性。我们预计，人工智能在网络攻击中的应用将从复杂的行为者开始，但将通过不断提高合作水平和工具的商业化而迅速扩展到更广泛的生态系统。

基本的自动化。正如防御者使用人工智能使他们的程序自动化一样，对手也可以为自己的利益引入高效率和效益工具。使用基本的预编程逻辑进行自动攻击，在网络安全领域并不新鲜。过去五年来，许多恶意软件和勒索软件的变种都使用相对简单的逻辑规则集来识别和适应操作环境。例如，攻击软件似乎已经检查了时区，以适应当地的工作时间，并以各种方式定制行为，以避免被发现或采取有针对性的行动来适应目标的计算环境。然而，人工智能技术的大幅改进使得恶意软件的适应性、隐蔽性和侵入性都大大增强。

基于认证的攻击。人工智能方法可用于基于认证的攻击，例如，最近开发的人工智能方法可用于生成合成声纹，以通过认证系统获得访问权。在2018年DEF CON会议上举行的夺旗（CTF）网络安全竞赛期间，有人展示了令人信服的语音冒充来欺骗认证系统的演示。

人工智能驱动的社会工程。人类的感知和心理是网络防御的薄弱环节。人工智能可以被用来利用这一持久的漏洞。我们已经看到人工智能用于社会工程的兴起，将机器学习的力量瞄准了影响人们的行动，以执行不符合他们利益的任务。作为一个例子，人工智能方法可用于生成超个性化的网络钓鱼攻击，甚至能够愚弄最具有安全意识的用户。2018年一项引人注目的研究表明，人工智能方法如何被用来大幅提高终端用户点击社交媒体帖子中恶意链接的概率。该人工智能系统从公开的数据中学习，包括目标个人的在线资料、连接、帖子内容和在线活动。2021年的一项研究表明，电子邮件的语言可以用大规模的神经语言模型自动制作，而且人工智能生成的信息比人类编写的信息要成功得多。 [38] 在一个相关的方向上，微软已经跟踪了使用人工智能制作有说服力但虚假的社交媒体资料作为诱饵的团体。

4.2 前沿人工智能驱动的网络攻击

在我于2019年共同组织的美国科学院关于进攻性人工智能的研讨会上，发言中强调了为更复杂的进攻性人工智能做准备的必要性。该研讨会由国家情报局局长办公室主办，出具了一份可从科学院获得的报告。[39] 该报告包括对人工智能方法在整个网络杀伤链中的应用讨论，包括人工智能方法在社会工程、发现漏洞、利用开发和目标、恶意软件适应中的使用，以及可用于针对人工智能支持的系统中的漏洞的方法和工具，如民用和军事应用中的自主系统和控制。

网络安全研究界已经证明了人工智能和其他复杂的计算方法在网络攻击中的力量。敌人可以利用人工智能有效地猜测密码，在不引起怀疑的情况下攻击工业控制系统，并创造出逃避检测或防止检查的恶意软件[40],[41],[42],[43],[44],[45] ，支持人工智能的机器人也可以使网络攻击自动化，使攻击者的指挥和控制渠道难以扑灭。 [46]在另一个方向，一个竞争者在2016年的DARPA网络大挑战演习中展示了[47]如何利用机器学习来学习如何产生 "糠 "流量，即类似于真实攻击中看到的事件分布的在线活动的诱饵模式，以分散注意力并掩盖实际攻击策略。

可以肯定的是，人工智能将提高今天所有广泛威胁的成功率、影响和范围。人工智能也将带来新的挑战，包括随着人工智能组件和应用程序的普遍使用而引入的特殊网络漏洞，这为对手创造了新的利用途径。

序号	建议2：为恶意使用人工智能来进行网络攻击做好准备
1	提高美国防部和其他联邦机构对人工智能驱动的网络攻击威胁的认识，以及对其进行防御的方向，包括检测和挫败新形式的自动化和规模化。
2	美国防部应深入参与网络安全社区，参与关于人工智能增强的网络攻击的研发和竞赛，并继续从前沿的进展、发现和拟议的缓解措施中学习。
3	增加研发资金，探索人工智能和网络安全交汇处的挑战和机遇。考虑建立联邦资助的网络安全卓越研发中心。执行NSCAI的建议，对DARPA进行投资，以促进对人工智能的网络防御的更多研究。
4	增加研发资金，探索人工智能和网络安全交汇处的挑战和机遇。考虑建立联邦资助的网络安全卓越研发中心。执行NSCAI的建议，对DARPA进行投资，以促进对人工智能的网络防御的更多研究。

5. 人工智能系统的特殊脆弱性

对人工智能的力量和对其日益增长的依赖为新型网络脆弱性产生了一场完美的风暴：直接针对人工智能系统和组件的攻击。由于注意力集中在开发和整合人工智能能力到应用程序和工作流程中，人工智能系统本身的安全往往被忽视。然而，对手看到了新的人工智能攻击面的兴起，其多样性和普遍性不断增加，毫无疑问，他们将追寻漏洞。对人工智能系统的攻击可以以传统漏洞的形式出现，通过基本的操纵和检测，以及通过一个新的、令人不安的类别：对抗性人工智能。

5.1 对人工智能供应链的攻击

人工智能系统可以通过针对传统的安全弱点和软件缺陷进行攻击，包括对人工智能系统供应链的攻击，恶意行为者可以进入并操纵不安全的人工智能代码和数据。作为一个例子，在2021年，一个用于构建神经网络的流行软件平台被发现有201个传统安全漏洞，如内存损坏和代码执行。[50] 研究人员已经证明了对手如何使用现有的网络攻击工具包来攻击运行AI系统软件的核心基础设施。[51] AI系统供应链中的多个组件可以通过传统的网络攻击来修改或破坏。作为一个例子，用于训练人工智能系统的数据集很少像源代码那样受到版本控制。纽约大学的研究人员发现，从一个流行的算法库中下载的大多数人工智能框架并不检查人工智能模型的完整性，这与传统软件的实践标准形成鲜明对比，在传统软件中，对可执行文件/库的加密验证已经是十多年来的标准做法[52] 。

5.2 对抗性人工智能

对抗性人工智能或对抗性机器学习方法利用更复杂的人工智能技术来攻击人工智能系统。已经确定了几类对抗性人工智能，包括对抗性样本，使用基本策略或更复杂的机器学习方法来愚弄人工智能系统的输入，导致系统无法正常运行。第二类攻击被称为数据中毒，用于训练人工智能系统的数据被 "毒化"，这些数据流将错误或有偏见的训练数据注入数据集，改变人工智能系统的行为或降低其性能。[53] 第三类攻击被称为模型窃取，试图了解人工智能系统中使用的基础人工智能模型的细节。[54] 第四类攻击被称为模型反转，试图重建用于训练目标系统的基础私有数据。

在对抗性样本中，基本的操作或更复杂的人工智能方法的应用被用来产生定制的输入，以导致目标人工智能系统的失败。这些攻击的目标包括自动信息分类器的破坏性故障，机器视觉系统的感知，以及语音识别系统对语料中单词的识别。

作为对输入的基本操纵的一个例子，来自Skylight的研究人员将游戏数据库中的良性代码添加到Wannacry勒索软件中，使基于机器学习的反病毒过滤器将修改后的勒索软件归类为良性。[57] 在关于人工智能系统脆弱性的相关工作中，研究人员表明，仅仅旋转一个皮肤病变的扫描图像，就能混淆计算机识别系统将该图像归类为恶性。

在使用人工智能生成对抗性样本方面，研究人员已经展示了令人震惊的错误样本。在一种方法中，对抗性方法被用来将像素的模式注入图像，以改变人工智能系统所看到的东西。虽然用人工智能推断的变化是戏剧性的，但对原始图像的改变是人类无法察觉的。样本演示包括对熊猫照片的修改，导致人工智能系统将熊猫错误地归类为长臂猿，以及对停车标志的修改，将其错误地归类为屈服标志。[59],[60] 类似的演示已经在语音识别领域完成，在语音中注入隐藏的声学模式，改变听觉系统听到的内容。

美国国家安全委员会（NSCAI）的最终报告中提出了对抗性人工智能的挑战和一系列建议。[62]我主持了关于开发和应用可信赖的、负责任的和有道德的人工智能应用方向的工作，促成了报告的第7章和第8章，以及NSCAI关于应用符合民主价值、公民自由和人权的人工智能系统的关键考虑因素的附录。 [63],[64],[65] 报告第7章涵盖了对对抗性人工智能的日益关注，包括这样的评估："威胁不是假设的：对抗性攻击正在发生，并且已经影响到商业ML系统。" 为了支持这一说法，在过去五年中，微软网络安全团队看到了对抗性人工智能攻击的上升。

5.3 缓解对抗性人工智能的力度

追求有抵抗力的系统。计算机科学的研发工作一直在进行，以使人工智能系统对对抗性机器学习攻击有更强的抵抗力。其中一个工作领域集中在提高系统对上述对抗性输入的攻击的鲁棒性水平。[67],[68]方法包括特殊的训练程序，以包括对抗性样本，验证输入以确定可以揭示攻击迹象的特定属性，并对建立模型的整体方法进行修改，以及修改用于创建模型的优化程序中的目标函数，以便创建更强大的模型。虽然后一种技术及其背后的研究方向很有希望，但由于机器学习程序的输入空间很大，对抗性样本的挑战依然存在。因此，重要的是继续投资对抗性人工智能的研发，用红队演习进行持续研究，并保持警惕。

5.4 追踪、意识和资源

一线的意识。尽管对抗性人工智能方法将为国家和非国家行为者提供操纵和破坏关键人工智能系统的机会，并有越来越多的证据表明现实世界中存在对抗性人工智能的攻击，但保护人工智能系统免受这些攻击的想法在很大程度上是事后的想法。现在迫切需要意识到并准备好应对对抗性人工智能的威胁，特别是那些用于国防等关键领域的威胁。微软在2020年对28个组织的调查显示，尽管对人工智能系统的攻击在增加，但公司仍然没有意识到这些类型的人工智能系统的故意失败，并且在确保人工智能系统安全的工具和流程方面投资严重不足。

资源和参与。微软与MITRE和其他16个组织一起创建了对抗性ML威胁矩阵，对人工智能系统的威胁进行分类。对于工程师和政策制定者，微软与哈佛大学伯克曼-克莱因中心合作，发布了机器学习失败模式的分类法。[71] 对于安全专家，微软已经开源了Counterfit，它自己的工具用于评估人工智能系统的态势。 [72] 对于对人工智能和安全感兴趣的更广泛的网络安全从业者来说，微软举办了年度机器学习规避竞赛，作为锻炼他们攻击和保护人工智能系统能力的场所。 [73] 在联邦政府内部，国防部在其核心人工智能原则中列出了人工智能系统的安全和保障。 [74] NIST在人工智能风险评估框架方面的活动令人鼓舞，以解决人工智能系统的多个层面，包括稳健性和安全性。

序号	建议3：提高认识并解决人工智能系统的漏洞问题
1	确保联邦人工智能系统的工程供应链安全，包括对用于构建人工智能系统的数据、可执行文件、库和平台使用最先进的完整性检查；确保敏感代码和数据的安全开发生命周期方法到位。
2	要求对国防部和其他联邦AI机构的AI工程项目进行安全审查。
3	将人工智能开发和网络安全团队聚集在一起，建立最佳实践和审查方案。
4	提高美国防部对对抗性人工智能挑战的认识，考虑人工智能系统和组件的脆弱性。
5	追求使用强大的机器学习算法，以加强系统在面对对抗性样本时的复原力。
6	制定培训计划，以提高网络安全和人工智能工程人员对人工智能系统和组件的安全漏洞、使用对抗性人工智能方法的攻击风险以及减少风险的手段的认识。
7	投资于可信赖的、强大的、安全的人工智能系统的研发。

6. 恶意信息活动中的人工智能

机器学习和图形学的进步提高了国家和非国家行为者制作和传播高保真视听内容的能力，这些内容被称为合成媒体和深度伪造。产生深度伪造的人工智能技术现在可以制造出与真实世界的人、场景和事件无法区分的内容，威胁到国家安全。几年前只能在计算机科学实验室的墙壁上或在学术人工智能会议上令与会者惊讶的演示中发现的进展，现在已经广泛用于创造可用于推动虚假信息运动的音频和视听内容的工具。

6.1 合成媒体的挑战

生成式人工智能方法合成各种信号能力的进步，包括高保真视听图像，对网络安全具有重要意义。当特制时，使用人工智能生成深度假象可以提高社会工程行动（上文讨论过）的有效性，说服最终用户向对手提供系统和信息的访问。

在更大的范围内，人工智能方法和合成媒体的生成能力对国防和国家安全有重要影响。这些方法可以被对手用来生成世界领导人和指挥官的可信声明，编造有说服力的假战旗行动，以及生成假新闻事件。最近的一个示范包括在俄罗斯攻击乌克兰的过程中出现的多个被操纵的和更复杂的深度伪造的例子。这包括总统沃洛基米尔-泽伦斯基（Volodymyr Zelenskyy）似乎在呼吁投降的视频[76] 。

合成媒体的扩散产生了另一个令人担忧的影响：恶意行为者将真实事件贴上了 "假 "的标签，利用了在深度造假时代丧失可信度后出现的新的推诿方式。视频和照片证据，如暴行的图像，被称为假的。被称为 "说谎者的红利"，合成媒体的扩散使人们更有胆量将真实的媒体说成是 "假的"，并为他们的行为创造合理的推诿理由。

我们可以预计，合成媒体及其部署将随着时间的推移而不断复杂化，包括将深层假象与世界上正在发生的事件交织在一起的说服力，以及对深层假象的实时合成。实时合成可以用来创造令人信服的、互动的冒名顶替者（例如，出现在电话会议中，由人类控制器引导），看起来有自然的头部姿势、面部表情和话语。再往前看，我们可能不得不面对合成人的挑战，他们可以通过音频和视频渠道自主地进行有说服力的实时对话。

6.2 方向：数字内容认证

应对合成媒体威胁的一个有希望的方法可以在最近的一个进展中找到，即数字内容出处技术。数字内容认证利用密码学和数据库技术来证实任何数字媒体的来源和编辑历史（出处）。这可以为安全工作负载提供 "glass-to-glass"的内容认证，从击中相机感光表面的光子到显示器像素发出的光。我们在微软的一个跨团队工作中追求早期的愿景和技术方法，以实现媒体来源的端到端防篡改认证。[78],[79]这个项目的动机是我们的评估，即从长远来看，无论是人类还是人工智能方法都无法可靠地区分事实和人工智能生成的虚构，我们必须紧急准备应对日益逼真和有说服力的深度伪造的预期轨迹。

在通过技术细节和实施认证视听内容来源的原型技术将愿景变为现实之后，我们努力建立并促进跨行业的伙伴关系，包括Project Origin、内容真实性倡议（CAI）和内容来源和真实性联盟（C2PA），一个由行业和公民社会组织组成的多利益攸关方联盟。[80],[81],[82],[83] 2022年1月，C2PA发布了一个标准规范，实现了数字内容证明系统的互操作性。[84],[85] 现在，符合C2PA标准的商业生产工具正在出现，使作者和广播公司能够向观众保证照片和视听媒体的原始来源和编辑历史。

NSCAI的最终报告建议，应追求数字内容的出处技术，以减轻合成媒体不断增加的挑战。在国会，两党的《深度伪造工作组法案》（S. 2559）建议成立国家深度伪造和数字认证工作组。[86] 微软及其媒体证明合作者鼓励国会着手建立一个工作组，帮助识别和解决合成媒体的挑战，我们欢迎有机会为这项工作提供帮助和投入。

序号	建议4：抵御恶性信息活动
1	颁布《Deepfake Task Force法案》。
2	促进在国防和民用环境中使用数字媒体的认证来进行新闻和通信。
3	在美国防部和其他联邦机构采用认证信号、通信和新闻的数字内容出处的管道和标准，根据编造内容的风险和破坏性进行优先排序。
4	审查恶意信息活动对国防部规划、决策和协调的潜在干扰，这些活动基于对视听和其他信号的复杂捏造的操纵，涵盖了传统的信号情报（SIGINT）管道、实时国防通信以及公共新闻和媒体。
5	对旨在检测、归因和破坏人工智能恶意信息活动的方法进行研发投资。

总结

我在我的证词中涵盖了人工智能和网络安全交叉领域的现状、趋势、例子和未来的方向，以及不断上升的机遇和挑战。人工智能技术将继续对加强军事和民事应用中的网络安全具有至关重要的作用。人工智能方法已经在质量上改变了网络防御的博弈。人工智能的技术进步已经在许多方面提供了帮助，跨越了我们预防、检测和应对攻击的核心能力--包括以前从未见过的攻击。人工智能创新正在放大和扩展全国各地安全团队的能力。

在另一边，国家和非国家行为者正开始以多种方式利用人工智能。他们将从人工智能的快速发展中汲取新的力量，并将继续为他们的武器库增加新的工具。我们需要加倍关注和投资人工智能和网络安全交汇处的威胁和机会。我们需要在人力培训、监测、工程和核心研发方面进行大量投资，以了解、开发和实施防御措施，应对由人工智能驱动的网络攻击所带来的广泛风险。这些威胁包括新型的攻击，包括那些直接针对人工智能系统的攻击。美国防部、联邦和州机构以及国家需要保持警惕，并领先于恶意的对手。这将需要对人工智能和网络安全的基础研究和工程进行更多的投资和承诺，并建立和培养我们的网络安全工作队伍，以便我们的团队今天能够更加有效，并为未来做好充分准备。