本文是美国陆军网络研究所系列文章“竞争与胜利：设想 21 世纪的竞争战略”的一部分。该系列围绕美国竞争战略以及在物理、网络和信息空间中与同行和近似竞争对手非常规战争的各种问题发表专家评论。该系列是网络空间竞赛项目 (C2P) 的一部分，该项目由陆军网络研究所和现代战争研究所联合发起。
没有人喜欢在早晨醒来，但现在由人工智能驱动的算法为我们设置闹钟，管理我们家中的温度设置，并选择符合我们情绪的播放列表，打盹按钮的使用越来越少。人工智能安全辅助系统使我们的车辆更加安全，人工智能算法优化警察巡逻，使我们开车经过的社区和居住的地方更加安全。在我们周围，人工智能就在那里，为塑造我们的环境的工具和设备提供动力，在我们的日常生活中增强和协助我们，并促使我们对吃什么、穿什么和买什么做出选择--不管是否经过我们的同意。然而，当我们的智能设备开始决定我们中谁是可疑的，当一个边缘化的社区成为警察巡逻的不成比例的目标，当一辆自动驾驶汽车杀死一个乱穿马路的人，人工智能也在那里。
人工智能在日常生活中变得无处不在，而战争也不例外，这是一种趋势。报道甚至表明，2020年11月对伊朗顶级核科学家的暗杀是由一支自主的、由人工智能增强的步枪完成的，它能够每分钟发射六百发子弹。俄罗斯和中国正在迅速发展，在某些情况下还在部署人工智能的非正规战争能力，而在为我们日常生活提供动力的人工智能系统中出现的同样的裂痕、偏见和不良结果开始出现在用于发动战争和设计杀人的人工智能系统中，这只是时间问题。
鉴于人工智能和机器学习在战略竞争中的作用，我们既要了解这些系统带来的风险，也要了解它们创造战略优势的能力，这一点至关重要。通过探索对抗性方法，有可能开始建立这样一种理解。对四类对抗性方法的研究为了解这些系统的脆弱性提供了一个窗口。在这篇文章中，我们将以目标识别问题为基础例子，探讨人工智能系统的学习和思维如何被攻击。虽然这个例子发生在冲突中，但我们描述的方法也可以在竞争中使用。这一分析导致了两个重要的结论。首先，在任何人工智能的使用中，人类必须保持在循环中。第二，在大国竞争的时代，人工智能可能不会为美国提供战略优势，但我们必须继续投资并鼓励人工智能的道德使用。
对抗性方法
像其他军事系统一样，人工智能系统经历了多个不同的生命周期阶段--开发（数据收集和训练）、测试、运行和维护。在这些阶段中的每一个阶段都有独特的弱点，必须加以识别，并且我们要考虑到这些弱点。我们将着手开发一个假设的人工智能目标识别系统，该系统正在学习识别敌人的装甲车辆。在每个阶段，我们将探索相关的对抗性方法--中毒、逃避、逆向工程和推理--以及我们如何保护我们的系统免受其害。
中毒
开发任何人工智能系统的第一步是识别问题和收集数据。面对我们识别敌方装甲车的挑战，我们必须定义我们的问题。我们是想识别所有敌人的装甲车，还是只识别来自特定对手的某一类型？这个问题的定义为收集和准备一组相关数据提供了依据，在这种情况下，这将包括大量感兴趣的敌方装甲车辆的图像。我们不仅必须积累所有感兴趣的车辆的图像，而且还需要各种条件下的图像--例如，变化的光线、不同的角度、有限的曝光和交替的通道（例如，红外线、日光）。然后由数据分析员准备好数据，用于人工智能系统的训练。然而，开发人工智能系统所需的巨大数据量造成了一个漏洞。数据量意味着分析员没有能力验证每张收集到的图像是否是实际的敌方装甲车辆，也没有能力验证这些图像是否代表装甲车辆的全部类型。
这个发展阶段是对手可以通过一种称为中毒的技术来攻击人工智能系统的第一个点。投毒的目的是改变人工智能系统在训练中使用的数据，使人工智能学到的东西是有缺陷的。这个过程在系统投入运行之前就攻击了它的完整性。
制作恶意的原始数据以诱发有缺陷的分析结果的基本方法与传统的军事欺骗手段相同。Quicksilver行动是二战期间盟军入侵诺曼底前的一次欺骗行动，旨在攻击德国的防御性分析模型。为了完成这一攻击，盟军建立了一支由乔治-巴顿中将领导的幽灵部队（有毒数据），以歪曲德国人对其防御重点（模型输出）的分析（模型）。
这种大规模的欺骗行动在今天这个相互联系的社会中可能更难实现，但毒化数据是可行的。我们的对手知道我们正在追求由人工智能支持的目标识别。知道这样一个人工智能系统需要他们当前装甲车辆的训练图像，对手可以通过操纵他们车辆的外观来毒害这些训练图像。这可以简单到在他们怀疑可能被监视的车辆上添加一个独特的符号，如红星。然后，我们的人工智能系统将在这些被故意操纵的车辆的中毒图像上进行训练，并 "学习 "所有敌人的装甲车都有红星。
尽管这样的中毒攻击会在竞争状态下发生，但当对手部署没有红星的装甲车以避免被发现时，其影响会在冲突中表现出来。此外，对手可以在民用车辆上涂上红星，诱使我们的人工智能系统错误地将平民识别为战斗人员。
确保我们的系统正确学习可以通过多种方式实现。详细的数据整理可以帮助减轻风险，但会消耗宝贵的时间和资源。相反，一个可扩展的解决方案包括数据治理政策，以提高用于人工智能系统的数据的完整性和代表性。在人工智能生命周期的所有阶段，适当放置技术控制和训练有素的人员保持在循环中，将进一步减少中毒攻击的风险。
逃避
下一种类型的攻击，即逃避，依赖于类似的基本攻击原则，但在人工智能系统运行时进行部署。逃避攻击的目标是如何应用人工智能的学习，而不是毒害人工智能正在学习的内容。这听起来可能是一个微不足道的区别；然而，它对攻击者成功所需的资源和反过来防御者需要采取的行动有重大影响。在中毒攻击中，攻击者需要有能力控制或操纵用于训练模型的数据。在规避攻击中，攻击者至少需要有能力在运行期间控制人工智能系统的输入。
逃避攻击很适合计算机视觉应用，如面部识别、物体检测和目标识别。一种常见的规避技术涉及稍微修改某些图像像素的颜色，以攻击系统如何应用它所学到的东西。在人眼看来，这似乎没有什么变化；但是，人工智能现在可能会对图像进行错误分类。研究人员证明了这种技术的效果，当一个之前正确识别熊猫图像的人工智能被显示为同一图像，但在整个图像中被添加了人眼无法察觉的颜色。该人工智能不仅将熊猫误认为是长臂猿，而且还以非常高的信心做到了这一点。
攻击者如果也能获得系统的输出或预测，就可以开发出一种更强大的（所有熊猫图像都被错误识别）或有针对性的（所有熊猫都被看成另一种特定的动物）规避方法。
逃避攻击的原则也可以在物理世界中运用--例如，戴上特制的太阳镜来遮挡或改变你在面部识别相机上的图像。这与伪装背后的原理相同。在这种情况下，对手的目标是模型的感知而不是人类的感知。在军事方面，如果对手知道我们的人工智能瞄准系统是在沙漠迷彩的坦克上训练的，那么对手的坦克可以简单地重新涂上林地迷彩，以故意躲避我们的人工智能系统的探测。一个人工智能增强的自主侦察系统现在可能无法有效地识别目标，无法为指挥官提供及时和准确的情报。
逃避攻击是一些研究最广泛的对抗性方法，因此防御所有可能的攻击载体将被证明具有挑战性。然而，加强我们的人工智能系统的步骤，可以增加我们对它们按计划运作的总体信心。其中一个步骤是在部署前实施评估工具。这些工具针对各种已知的对抗性方法对人工智能系统进行测试，为我们提供一个衡量其稳健性的定量标准。在操作过程中，如果可能的话，在循环中保留一个人，也可以减轻逃避攻击的情况。
逆向工程
前两类攻击在开发和运行期间针对人工智能系统有类似的基本原则。这些攻击也与传统的军事概念如欺骗和伪装有自然的相似之处。然而，人工智能系统的风险并不都是那么直接的，潜在的漏洞存在于开发和运行之外。人工智能系统在维护或储存时有哪些漏洞？如果对手通过网络入侵或在战场上捕获新一代人工智能无人机而获得对人工智能系统的访问，会有什么风险？
在被称为逆向工程的一类攻击中，对手攻击人工智能系统的目的是提取人工智能系统学到的东西，并最终使模型得以重建。为了进行逆向工程攻击，对手需要能够向一个模型发送输入并观察输出。这种攻击可以绕过模型本身的任何加密或混淆。对于我们假设的目标识别人工智能，这种攻击可以通过对手发送不同类型的车辆（输入）并观察哪些车辆能引起人工智能的反应（输出）来进行。虽然这样的攻击需要时间，并有资源损失的风险，但最终对手将能够了解到目标识别模型认为是一种威胁。
有了这些信息，对手将能够开发出自己的人工智能系统版本。除了使其他对抗性攻击更容易发展之外，直接了解人工智能是如何做出决定的，使对手能够预测我们的反应或完全避免它们。对我们的人工智能强化决策过程的这种洞察力将对我们在整个冲突过程中的行动安全构成重大威胁。
保护我们的系统免受逆向工程的影响可能被证明是困难的，特别是因为任务要求可能要求系统允许许多查询或加权输出，而不是简单的二元决定。这突出了对一系列量身定做的政策的需求，以管理与对抗性方法相关的风险。这些可能包括对人工智能系统的严格问责，特别是那些部署在边缘的系统，如无人机或智能护目镜。此外，我们可以通过只允许授权用户查看系统输出来施加访问限制。
推理攻击
最后一类攻击，被称为推理攻击，与逆向工程有关。与其说对手试图恢复人工智能系统学到的东西，不如说对手试图提取人工智能系统在其学习过程中使用的数据。这是一个微妙但有意义的区别，对在敏感或机密数据上训练的模型有重大影响。
为了进行推理攻击，与逆向工程一样，对手需要有能力向模型发送输入并观察输出。有了一组输入和输出，对手可以训练一个对抗性人工智能，预测一个给定的数据点是否被用来训练我们的友好模型。
想象一下，我们的目标识别人工智能是在对手的新武器系统的分类图像上训练的。使用推理攻击，对手可以了解到这个武器系统的保密性已被破坏。换句话说，对我们的人工智能系统的推理攻击可以促进机密情报的泄露。如果这是在竞争期间进行的，它可能会对危机和冲突产生很大影响。
与逆向工程一样，管理与推理攻击有关的风险将主要通过政策决定来处理。除了访问政策决定外，还将有关于何时在人工智能系统的训练中使用敏感或机密数据、使用什么类型的数据以及数量的困难决定。这些决定将需要平衡性能和风险，以开发仍然能够满足任务要求的人工智能系统。
对大国竞争的影响
当然，这显然不是对所有对抗性方法的详尽解释。然而，这个框架应该提供一个充分的概述，领导人可以通过它来探索将人工智能系统整合到我们的编队中的全部影响，包括积极和消极的影响。美国和我们的对手都在追求这种技术，以便在未来的战略竞争中获得不对称的优势，而双方都无法赢得这种优势。
数据不对称
当我们思考技术和不对称优势时，从第一原则开始，考虑相对获得 "原材料 "的问题是有用的。在人工智能系统中，原材料是数据--大量的数据。美国是否能获得与我们的对手相同质量和数量的数据？鉴于美国国家安全中围绕隐私和数据安全的法律因素和社会规范--这本身就是一个关键的话题，答案显然不是 "是"。这表明，美国在开发和部署人工智能系统方面将处于固有的不利地位。
开发能力
训练有素的人员是人工智能系统的另一个关键资源。正如陆军在其 "人员优先 "战略中所确定的那样，拥有合适的人员将是美国在战略竞争中取得成功的关键。美国在工业界、学术界和军队都有人才。这些人员能否被招募、留住，并被引向艰难的国家安全问题，是一个值得专门思考的开放式问题。在短期内，应该确定我们编制内已有的人才，并且应该将各组织在人工智能方面的不同努力同步进行。
人工智能只是一种工具
人工智能是一种工具。像任何其他工具一样，它有固有的优势和弱点。通过对这些优势和劣势进行审慎和现实的评估，美国可以在人工智能的风险和回报之间找到最佳平衡点。虽然人工智能可能不会带来美国在战略竞争中所寻求的最大不对称优势，但我们也不能把技术让给正在该领域进行大量投资的对手。相反，美国可以而且应该支持人工智能的道德使用，促进对强大的人工智能的研究，并为人工智能系统制定防御性的最佳做法。基于对人工智能系统的脆弱性和局限性的理解，实施这些行动和其他行动将导致美国更有效地将人工智能置于大国竞争时代的战略中。
相关内容
微信扫码咨询专知VIP会员