【美国西点军校】《对抗性机器学习：对北约任务的威胁》译文，2022最新报告

1 简介

深度学习技术在计算机视觉领域的快速发展，促进了基于人工智能（AI）应用的广泛传播。分析不同种类的图像和来自异质传感器数据的能力使这项技术在军事和国防应用中特别有趣。然而，这些机器学习技术并不是为了与智能对手竞争而设计的；因此，使它们如此有趣的特性也代表了它们在这一类应用中的最大弱点。更确切地说，输入数据的一个小扰动就足以损害机器学习算法的准确性，并使其容易受到对手的操纵--因此被称为对抗性机器学习。

对抗性攻击对人工智能和机器人技术的稳定性和安全性构成了切实的威胁。这种攻击的确切条件对人类来说通常是相当不直观的，所以很难预测何时何地可能发生攻击。此外，即使我们能估计出对手攻击的可能性，人工智能系统的确切反应也很难预测，从而导致进一步的意外，以及更不稳定、更不安全的军事交战和互动。尽管有这个内在的弱点，军事工业中的对抗性机器学习话题在一段时间内仍然被低估。这里要说明的是，机器学习需要在本质上更加强大，以便在有智能和适应性强的对手的情况下好好利用它。

2 人工智能系统是脆弱的

在很长一段时间里，机器学习研究人员的唯一关注点是提高机器学习系统的性能（真阳性率/敏感度、准确性等）。如今，这些系统缺乏稳健性的问题已不容忽视；许多系统已被证明非常容易受到蓄意的对抗性攻击和/或操纵。这一事实使它们不适合现实世界的应用，特别是关键任务的应用。

一个对抗性的例子是，攻击者故意设计了一个机器学习模型的输入，以导致该模型犯错。一般来说，攻击者可能无法接触到被攻击的机器学习系统的架构，这被称为黑盒攻击。攻击者可以利用 "可转移性 "的概念近似于白盒攻击，这意味着旨在迷惑某个机器学习模型的输入可以在不同的模型中触发类似的行为。

最近针对这些系统的对抗性攻击的演示强调了对抗性行为对稳定性影响的普遍关注，无论是孤立的还是互动的。

也许最广泛讨论的攻击案例涉及图像分类算法，这些算法被欺骗成 "看到 "噪声中的图像，即随机产生的不对应于任何图像的白噪声被检测为图像，或者很容易被像素级的变化所欺骗，因此它们将一辆校车分类为鸵鸟，例如。同样，如果游戏结构或规则稍有改变，而人类不会受到影响，那么表现优于人类的游戏系统（如国际象棋或AlphaGo）就会突然失败。在普通条件下运行良好的自动驾驶汽车，只要贴上几张胶带，就会被诱导转向错误的车道或加速通过停车标志。

3 人工智能在军事上的应用

许多北约国家利用人工智能和机器学习来改善和简化军事行动和其他国家安全举措。关于情报收集，人工智能技术已经被纳入在伊拉克和叙利亚的军事行动中，其中计算机视觉算法被用来检测人和感兴趣的物体。军事后勤是这一领域的另一个重点领域。美国空军使用人工智能来跟踪其飞机何时需要维护，美国陆军使用IBM的人工智能软件 "沃森 "来预测维护和分析运输请求。人工智能的国防应用还延伸到半自主和自主车辆，包括战斗机、无人机或无人驾驶飞行器（UAV）、地面车辆和船舶。

人们认为对抗性攻击在日常生活中相对罕见，因为针对图像分类算法的 "随机噪音 "实际上远非随机。不幸的是，对于国防或安全技术来说，这几乎是不可能的。这些系统将不可避免地被部署在对方有时间、精力和能力来开发和构建正是这些类型的对抗性攻击的环境中。人工智能和机器人技术对于部署在敌人控制或敌人争夺的地区特别有吸引力，因为这些环境对于我们的人类士兵来说是最危险的环境，在很大程度上是因为对方对环境有最大的控制。

在意识到人工智能发展和应用的技术领先的重要性后，北约于2020年在多国能力发展运动（MCDC）下启动了人工智能、自动化和机器人技术的军事用途（MUAAR）项目。该项目的范围是开发概念和能力，以应对开展联合联盟行动的挑战，并对其进行评估。项目的目标是评估可能受益于人工智能、自动化和机器人技术的当前和未来的军事任务和功能。它还考虑了效率和成本节约方面的回报。

在国防应用中，对抗性地操纵机器学习分类器所带来的危险的例子很多，严重程度各不相同。例如，致命的自主武器系统（LAWS）可能会将友军战车误认为是敌军战车。同样，一个爆炸装置或一架敌方战斗机可能会被错误地识别为一块石头或一只鸟。另一方面，知道人工智能垃圾邮件过滤器跟踪某些单词、短语和字数进行排除，攻击者可以通过使用可接受的单词、短语和字数来操纵算法，从而进入收件人的收件箱，进一步增加基于电子邮件的网络攻击的可能性。

4 结论

综上所述，人工智能支持的系统可能会因为对抗性攻击而失败，这些攻击是故意设计来欺骗或愚弄算法以使其犯错的。这种攻击可以针对分类器的算法（白盒攻击），也可以通过访问输入来针对输出（黑盒攻击）。这些例子表明，即使是简单的系统也能以意想不到的方式被愚弄，有时还可能造成严重后果。随着对抗性学习在网络安全领域的广泛应用，从恶意软件检测到说话人识别到网络物理系统再到许多其他的如深度造假、生成网络等，随着北约增加对自动化、人工智能和自主代理领域的资助和部署，现在是时候让这个问题占据中心位置了。在将这些系统部署到关键任务的情况下之前，需要对这些系统的稳健性有高度的认识。

已经提出了许多建议，以减轻军事环境中对抗性机器学习的危险影响。在这种情况下，让人类参与其中或在其中发挥作用是至关重要的。当有人类和人工智能合作时，人们可以识别对抗性攻击，并引导系统采取适当的行为。另一个技术建议是对抗性训练，这涉及给机器学习算法提供一组潜在的扰动。在计算机视觉算法的情况下，这将包括显示那些战略性放置的贴纸的停车标志的图像，或包括那些轻微图像改变的校车的图像。这样一来，尽管有攻击者的操纵，算法仍然可以正确识别其环境中的现象。

鉴于一般的机器学习，特别是对抗性机器学习，仍然是相对较新的现象，对两者的研究仍在不断涌现。随着新的攻击技术和防御对策的实施，北约军队在关键任务的行动中采用新的人工智能系统时需要谨慎行事。由于其他国家，特别是中国和俄罗斯，正在为军事目的对人工智能进行大量投资，包括在引起有关国际规范和人权问题的应用中，北约保持其战略地位以在未来战场上获胜仍然是最重要的。

作者

Elie Alhajjar博士是美国陆军网络研究所的高级研究科学家，同时也是纽约州西点军校数学科学系的副教授，他在那里教授和指导各学科的学员。在来到西点军校之前，Alhajjar博士曾在马里兰州盖瑟斯堡的国家标准与技术研究所（NIST）从事研究。他的工作得到了美国国家科学基金会、美国国立卫生研究院、美国国家安全局和ARL的资助，最近他被任命为院长的研究人员。他的研究兴趣包括数学建模、机器学习和网络分析。他曾在北美、欧洲和亚洲的国际会议上展示他的研究工作。他是一个狂热的科学政策倡导者，曾获得民用服务成就奖章、美国国家科学基金会可信CI开放科学网络安全奖学金、Day One技术政策奖学金和SIAM科学政策奖学金。他拥有乔治-梅森大学的理学硕士和数学博士学位，以及圣母大学的硕士和学士学位。