【美海军·系统顶点项目报告】《用于防空和导弹防御的自动作战管理辅助工具（AI）的安全风险评估》162页PDF

2022 年 10 月 19 日 专知

现代战场比以往任何时候都要复杂，武器的技术进步也在不断加快。为了赢得下一场战斗，对对手的行动作出更快的反应时间是至关重要的。人工智能（AI）有可能使作战人员超过敌人的决策周期，减少信息过载，从而克服 "战争迷雾"。在开发作战系统时，可靠性可能是生与死的区别。因此，最重要的是，这些武器系统（尤其是像人工智能这样的新型系统）在被引入战斗空间并被委托保护作战人员之前，就已经以最高标准的可靠性和安全性进行开发。该项目利用系统工程方法来确定与人工智能及其在战斗空间中的作用有关的潜在危险和风险。使用一个既定的风险管理框架（RMF），该团队提供了一些缓解策略，开发人员在培养这项技术以用于未来的美国武器系统和程序时必须考虑。

执行摘要

现代战场比以往任何时候都更加复杂，武器的技术进步也在加速。为了赢得下一场战斗，对对手的行动有更快的反应时间至关重要。人工智能（AI）有可能使作战人员超越敌人的决策周期，减少信息过载，从而克服 "战争迷雾"。人工智能可能的用途的一些例子包括帮助操作者决策的综合战斗管理辅助工具（BMAs），预测未来交战结果的算法，以及识别朋友或敌人。

为了有效地运用人工智能，开发者必须了解与创造能够像人类一样 "思考 "的战争机器相关的好处和风险。这种风险并不局限于技术，还可能包括人类层面，例如当作战人员不信任计算机为他们做决定时。另一个潜在风险的例子是，"训练 "人工智能的数据可能是错误的，陈旧的，或没有意义的，使其无效。此外，人工智能可能会 "失败"，在面临另一个人工智能实体或BMA不同意的情况下，错误地选择行动，导致威胁影响到友好目标。

在开发作战系统时，可靠性可能是生与死的区别。因此，最重要的是，这些武器系统（特别是像人工智能这样的新型系统）在被引入战斗空间并被委托保护作战人员之前，就已经以最高标准的可靠性和安全性进行开发。该项目利用系统工程方法来确定与人工智能及其在战斗空间中的作用有关的潜在危险和风险。使用一个既定的风险管理框架（RMF），该团队提供了一些缓解策略，开发人员在培育这项技术以用于未来的美国武器系统和流程时必须考虑。

该团队还采用了系统工程来进行项目分析。首先，他们以问题为导向，确定需求。为了实现这一目标，团队通过对该主题的前期工作进行广泛的文献回顾，了解了人工智能和机器学习（ML）到底是什么。这使该团队能够开发系统架构图，以了解潜在的系统结构和层次。然后，该小组利用其成员的个人知识（如两名在导弹防御局工作的成员和一名现役海军陆战队军官），为人工智能在战斗空间的潜在应用开发用例场景。使用Innoslate开发人工制品，该团队然后从这些用例中进行安全分析，以确定危险和故障模式。使用美国国家标准和技术研究所特别出版物800-37修订版中的RMF对这些危险和失效模式进行了分析。这使团队能够为确定的危险制定缓解策略。

如上所述，团队开发了三个用例：（1）弹道导弹防御场景；（2）一艘受到无人驾驶飞行器群攻击的船只；（3）战区级和战略级人工智能系统产生相互矛盾的建议的场景。该团队选择这些情景的依据是它们可能对国家造成的影响程度（如配备核弹头的弹道导弹）、它们的可能性（如大型海军舰艇这样的高回报目标），以及未来战争转向远征性质（如前沿作战基地（FOB）和远征先进基地）。每种情况下都有广泛的故障模式和缓解策略（以及计算机资产的常见系统危险）。通过确定这些故障模式和缓解策略，该小组为未来针对其他可能性和情景的规划提供了一个基线。

情景1的弹道导弹防御情况突出了作战人员的不信任。在这种情况下，作战人员根据自己的作战概念，而不是人工智能的建议，对来袭的弹道导弹作出反应。与这种不信任相关的危害包括无效的反应时间、无效的反制措施、不正确的致命物体选择以及反制措施将影响的不正确位置/时间。情景2的舰艇自卫情况侧重于人工智能发展的训练数据。该小组确定了诸如错误识别和无效反应等危险，以及与之相关的故障模式。情景3的主要危害来自于敌方成功攻击友方FOB的主要事故。导致这种意外发生的危险是敌方的威胁没有被解除，以及是否根本没有参与。

该小组为每一种情况制定了缓解策略。情景1的首要策略是建立人工智能在决策过程中要遵守的时间标准，以及用户的行动概念（CONOPS）要定期更新，并在部署前阶段进行。对于情景2，在部署前采用适当的编程技术，定期（每月）更新训练数据，并利用备份数据，可以防止误认和无效的反应。情景3的危险可以通过在部署前阶段的适当编程和联合部队的投入来减轻。

最后，小组建议进一步研究如何在战术和行动层面实施AI/ML，AI/ML被用来收集新的或现有威胁的性能数据，国防部指导如何管理将使用AI/ML的系统的验证和确认，并对AI/ML BMA进行服务水平和国防部水平的可靠性研究。在本报告结束时，读者应该更好地了解AI/ML如何使作战人员受益，以及必须采取哪些预防措施以确保其尽可能安全地发展。

I. 简介

A. 背景

自动化和人工智能的概念已经存在很多年了。Gregory Allen (2020)说，"尽管许多人工智能技术是旧的，但在过去的十年里，有一些合法的技术突破，大大增加了人工智能实用、强大和有用的应用的多样性。" 机器学习（ML）是人工智能领域的一个子集，是最近许多研究工作的重点。图3说明了自动化、人工智能和ML之间的联系。

图3. 自动化、AI和ML的维恩图。

人工智能/机器学习有可能提高作战人员对战斗空间的态势感知，改善时间紧迫和复杂威胁情况下的战术决策过程和速度。在实施人工智能和ML的过程中，这些好处不会没有潜在的安全风险。图4描述了与在战斗管理辅助工具中使用人工智能和ML有关的一些安全风险。自动系统容易受到网络攻击，操作人员可能会遇到信任或互动问题，特别是ML系统，很容易提供歪曲或有偏见的结果。

图4. AI/ML系统的失败模式实例。

人工智能作为一种具有广泛用途的能力，对美国防部的吸引力越来越大。根据2018年国防部关于人工智能的战略，"不实施这一战略的代价是明确的。不采用人工智能将导致与我们的人民的防御无关的遗留系统，侵蚀盟友和合作伙伴之间的凝聚力，减少进入市场的机会，这将导致我们的繁荣和生活水平下降，以及对建立在个人自由基础上的社会的日益挑战"（国防部2018年）。特别是，鉴于弹道导弹防御、巡航导弹防御、高超音速导弹防御和防空的复杂性，空中和导弹防御（AAMD）任务领域特别值得关注。存在多种防御系统，以击败由人类作战人员控制的各个飞行阶段的威胁。在某些情况下，当决策空间因时间限制、信息挑战（太多、太少或太差）或威胁挑战（多种和/或不同的AAMD威胁）而变得复杂时，这些人类作战人员变得不知所措。包括一个自动决策辅助工具来协助作战人员，甚至承担决策者的角色，是国防部许多地方正在探索的领域空间（国防部2018）。

以下两个作战视图（OVs）描述了在战略层面（图5）和区域层面（图6）使用带有AI/ML的作战管理辅助工具，以及嵌入的风险图表，确定一些需要调查的安全风险。

图5. 战略层面OV-1-自动作战管理辅助工具的安全性

图6. 区域级OV-1-自动作战管理辅助工具的安全性

鉴于人工智能和ML很有可能被整合到指挥和控制、作战管理辅助工具和武器系统本身，这个顶点项目探讨了为AAMD任务引入人工智能和ML能力作为自动战斗管理辅助工具（BMA）的潜在危险。

B. 问题陈述

技术的进步提高了战争的速度，需要更快的反应时间和人类决策。美国防部（2017）已经承认有必要获得战术决策辅助工具，以减轻指挥官和作战人员的战场决策压力。在BMAs中使用自动化方法，包括AI和ML，可以帮助满足多样化的任务需求，以及协助从计划到执行的过渡（美国防部2017）。然而，由于人工智能系统的非确定性和不断发展的性质、复杂的人机互动以及与学习系统的开发和运行有关的挑战，在未来的BMA中使用人工智能和ML会引入安全风险和新的故障模式。

C. 项目目标

该顶点项目的目标是研究与未来利用人工智能和ML为AAMD任务开发和实施BMAs有关的安全风险。具体来说，这项研究涉及以下问题。

与支持未来自动战术决策和任务规划辅助工具的人工智能系统的部署有关的安全风险是什么？
在战术决策中使用的人工智能系统的安全相关问题可能会产生什么后果？

D. 利益相关者

该小组确定了关键的利益相关者，并评估了他们的需求，如表1所示。利益相关者包括将从这项研究中受益的组织和终端用户。特别是终端用户（作战人员），将从利用人工智能和ML能力的成功和安全的BMA的实施中受益。项目经理和工程师可以将本研究的结果纳入为AAMD任务提供的安全AI/ML BMA的系统要求和设计中。

表1. 关键利益相关者

E. 团队组织

顶点团队由以下NPS系统工程学生组成。Angela Hoopes, Luis Cruz, Ryane Pappa, Savanna Shilt, 和Samuel Wuornos。表2介绍了该团队的角色和他们各自的组织。

表2. 项目团队成员

团队成员	角色	组织机构
安吉拉-胡普	团队负责人	系统评估小组首席工程师NH-04 0801，导弹防御局-宙斯盾BMD项目办公室-工程局
路易斯-克鲁兹	开发和集成负责人	导弹防御局以色列合作项目办公室测试主任
瑞恩-帕帕	工程负责人	美国陆军作战能力和发展指挥部军备中心（DEVCOM-AC）系统工程局DB-03 0801总工程师团队负责人
萨瓦娜-希尔特	首席分析师	美国陆军信息系统工程指挥部（USAISEC），计算机科学家NH-03 1550
塞缪尔-乌尔诺斯少校	首席编辑	美国海军陆战队第3航空联队海军陆战队重型直升机466中队飞机维修员和飞行员

图7中的团队组织结构图描述了A.ctual I.ntelligence团队的高层组织结构，包括顶点顾问、团队领导、第二读者、建模领导、工程领导、首席编辑和首席分析师等角色。

图7. 团队组织

组织结构图中每个角色的职责是根据整个顶点项目过程中要完成的关键研究和活动来确定的。表3列出了每个团队成员以及他们的角色和责任。

表3. 项目团队成员

F. 项目方法

该团队利用系统工程的方法来进行本项目的分析。首先，他们以问题为导向，确定需求。为了实现这一目标，团队专注于学习人工智能和ML到底是什么，对该主题的先前工作进行广泛的文献回顾。这使团队能够开发系统架构图，以帮助他们了解潜在的系统结构和层次。然后，该团队利用其成员的个人知识（如两名在导弹防御局工作的成员和一名现役海军陆战队军官），为人工智能在战斗空间的潜在应用开发用例场景。使用Innoslate开发人工制品，该团队然后从这些用例中进行安全分析，以确定危险和故障模式。然后使用国家标准和技术研究所特别出版物800-37修订版中的风险管理框架（RMF）对这些危险和失败模式进行分析。这使该小组能够为所确定的危险制定缓解策略。