美国海军研究生院《人工智能系统：国防应用的独特挑战》中文版（含16页PDF、23页讲解ppt）

摘要

如今，随着技术飞速发展和威胁环境变得更加复杂，在信息爆炸的局面下，作战人员面临着具有挑战性的决策空间。人工智能(AI)和机器学习(ML)可以减轻作战人员负荷。人工智能系统具有深远的好处——提高态势感知能力，检测威胁，理解对手的能力和意图;确定和评估可能的战术行动方针;并提供方法来预测行动决策的结果和影响。人工智能系统是理解和解决高度复杂的战术情况的关键。

人工智能系统为作战人员提供了优势，但前提是这些系统被正确设计和实施，并且以减轻作战人员的认知负荷的方式。为国防应用实施人工智能系统带来了独特的挑战。本文确定了四个独特的挑战，并描述了它们如何影响战术作战人员、工程设计界和国防。本文通过国防采办和系统工程计划，为解决这些独特的挑战提供了解决方案。

作者简介：

Bonnie Johnson——在海军工程研发方面拥有超过 25 年的领导和系统工程经验。她曾是 SAIC 和诺斯罗普·格鲁曼公司的高级系统工程师，研究用于海战系统和导弹防御能力的自动决策辅助。她于 2011 年加入美国海军研究生院 (NPS) 系统工程系。她拥有 NPS 系统工程博士学位、约翰霍普金斯大学系统工程硕士学位和弗吉尼亚理工大学物理学学士学位。

引言

人工智能是一个包含许多不同方法的领域，其目标是创造具有智能的机器（Mitchell，2019）。图 1 显示了一个简单的维恩图，其中机器学习 (ML) 作为 AI 的子集，而 AI 作为更广泛的自动化类别的子集。自动化系统以最少的人工输入运行，并且经常根据命令和规则执行重复性任务。人工智能系统执行模仿人类智能的功能。他们将从过去的经验中学到的知识与收到的新信息结合起来，以做出决策并得出结论。

图 1. 自动化、人工智能和机器学习的维恩图

如图 2 所示，有两种主要类型的 AI 系统。第一种类型是明确编程的，也称为手工知识系统。 Allen (2020) 将手工知识系统描述为“使用传统的、基于规则的软件，将人类专家的主题知识编码为一长串编程的‘如果给定 x 输入，则提供 y 输出’规则的人工智能”（第3页）。这些系统使用传统的或普通的编程语言。第二种类型是从大量数据集训练而来的机器学习系统。 ML 系统从训练过的数据集中“学习”，然后在操作上使用“训练过的”系统在给定新的操作数据的情况下产生预测结果。

图 2. 两种类型的人工智能：显式编程和学习系统

自动化、人工智能和机器学习系统，包括手工知识系统和学习系统，为美国国防部 (DoD) 提供了巨大的潜力，在大多数任务领域具有多种应用。这些智能系统可以扩展国防部理解复杂和不确定情况、制定和权衡选项、预测行动成功和评估后果的能力。它们提供了在战略、规划和战术领域支持国防部的潜力。人工智能系统可以减轻作战人员的负担，但前提是这些系统的设计和实施正确，并且以减轻作战人员认知负担的方式。这为国防应用实施人工智能系统提出了独特的挑战。本文确定了四个独特的挑战，并描述了它们如何影响战术作战人员、工程设计界和国防。

第一个为国防应用实施人工智能系统的独特挑战是战术战争呈现高度复杂的情况。战术复杂性可能涉及信息超载、需要处理的多个并发任务、具有可怕后果的时间关键决策、态势感知的未知/不准确/不完整，以及因各种分布式战争能力所需的互操作性而产生的工程挑战。将人工智能系统添加到这个已经很复杂的环境中是一项必要但极具挑战性的工作。

第二个独特的挑战是人工智能系统需要大量数据来训练。所开发的人工智能系统的质量很大程度上取决于训练数据集的质量和数量。军事领域的数据尤其难以获得。军事数据可能涉及分类问题、网络漏洞、数据验证挑战，并且根据舰队演习和兵棋推演的需要，收集起来可能非常昂贵且耗时。

第三个独特的挑战是人工智能系统为系统工程提出了一个新的前沿。在传统系统中，行为是固定的，因此是可预测的：给定输入和条件，系统将产生可预测的输出。一些人工智能解决方案可能涉及本身就很复杂的系统——适应和学习——因此会产生无法预料的输出和行为。事实上，一些人工智能系统的目的就是为了做到这一点——与人类决策者合作，承担一些认知负荷并产生智能建议。需要系统工程方法来设计智能系统，并确保它们对人类操作员来说是可解释的、可信赖的和安全的。

第四个独特的挑战是，对于国防应用，总是需要考虑潜在的对手。在人工智能系统方面，采购界必须注意同行竞争对手国家，他们在人工智能进步方面取得了自己的进步。美国国防系统也必须在这场人工智能竞赛中取得进步。网络攻击在防御系统中总是有可能发生的。随着防御能力增加对自动化和人工智能系统的依赖，这可能会造成更多的网络漏洞。最后，技术正在迅速发展，对抗性威胁空间正在发生变化。国防采购和系统工程界必须确保人工智能系统不断发展和适应，以应对威胁环境的变化，并以可信赖和安全的方式做到这一点。

挑战一:复杂的决策空间

第一个独特的挑战是许多防御领域呈现出复杂的决策空间。因此，设计和实施适当的人工智能系统来解决这种复杂性将是极具挑战性的。图 3 突出显示了导致战术领域决策复杂性的许多因素。例如，海军打击部队的行动可以迅速从和平状态转变为一种巨大的危险——需要对威胁保持警惕并采取适当的反应行动——所有这些都在高度压缩的决策时间线上。战术威胁可能来自水下、水面、空中、陆地、太空，甚至是虚拟的，因此需要处理多个时间紧迫的任务。在船舶、潜艇、飞机、陆地和太空中拥有海军和国防资产；战术决策空间必须解决这些分散和多样化资源的最佳协作使用问题。制定有效的战术行动方案也必须发生在高度动态的作战环境中，只有部分和不确定的态势知识。决策空间还必须考虑指挥权、交战规则和战术条令施加的限制。人类作为战术决策者的角色增加了决策空间的复杂性——面临信息过载、操作员错误、人工智能信任以及人工智能模糊性和可解释性问题等挑战。最后，战术决策及其可能后果的风险可能非常高。

图 3. 导致战术决策空间复杂性的因素

解决高度复杂的决策空间是美国国防部面临的挑战。人工智能提供了解决这种复杂性的潜在解决方案——通过处理大量数据、处理不确定性、理解复杂情况、开发和评估决策替代方案以及了解风险水平和决策后果。人工智能解决方案可以应用于国防部的战略、规划和战术层面。海军研究生院 (NPS) 开发了一种工程框架和理论，用于解决高度复杂的问题空间，这些问题空间需要使用智能和分布式 AI 系统来获得态势感知并做出适应动态情况的协作行动决策（Johnson， 2019）。模拟了一个复杂的战术场景，以演示使用 AI 来验证该方法（Johnson，2020a）。 NPS 已经开发了一种预测分析能力的概念设计，该设计将被实施为一个自动化的实时战争游戏系统，该系统探索不同的可能战术行动方案及其预测效果和红军反应（Johnson，2020b）。 NPS 研究已经确定了在战术行动中描述复杂性水平的必要性，并实施自适应人机协作安排以做出战术决策，其中自动化水平根据情境复杂性水平进行调整。正在进行的 NPS 研究正在研究这些概念工程方法在各种防御用例应用中的应用，包括防空和导弹防御、超视距打击、船舶自卫、无人机操作和激光武器系统。

复杂的决策空间为 AI 系统尝试和解决创造了具有挑战性的问题。表 1 根据决策空间的复杂性比较了不同的 AI 应用领域。该表包含 10 个表征决策空间复杂性的因素：认知不确定性（对情境知识的不确定性数量）、情境动态、决策时间线（做出决策的时间量）、决策的复杂性决策过程中的人机交互、资源复杂性（数量、类型、它们之间的距离以及它们的动态程度）、是否涉及多个任务、对手（竞争对手、黑客或打算摧毁的彻底敌人）的存在，允许误差的幅度（多少决策错误是可以接受的），以及决策后果的严重性。

表 1. 不同 AI 应用的决策复杂度比较

人工智能应用程序涉及的决策空间用于广告（根据特定用户的购买习惯或互联网搜索确定将哪些广告流式传输）、贷款批准（根据贷款金额和信用评分确定贷款资格）和医疗（根据诊断确定关于患者症状）相对简单。存在大量训练数据，决策过程中的计算和人为交互简单，情况相对稳定。不良广告的后果是微乎其微的。可以审计不良贷款批准决定。糟糕的医学诊断可能会产生更严重的后果，但通常有足够的时间在治疗前寻求更多的评估和意见。为自动驾驶汽车确定最佳运输路线和工程 AI 系统是更复杂的工作。这些应用程序是动态变化的，需要更短的时间来做出决策。运输路线在可能路线的数量上会很复杂——这可能会导致许多可能的选择。但是，存在运输错误的空间，并且后果通常不会太严重。对于自动驾驶汽车来说，决策错误的余地非常小。此应用程序中的错误决定可能导致严重事故。

然而，军事战术领域在决策空间的所有领域都呈现出极端的复杂性：不确定性和有限的知识/意识、高度动态的情况、非常有限的时间线、复杂的人机交互、大量和类型的资源、多个任务、昂贵和困难- 获取训练数据集、极小的允许误差范围以及行动（或不行动）的生死攸关的后果。

挑战二: 数据很难获取

第二个独特的挑战是 AI/ML 系统需要大量相关且高质量的数据用于训练和开发，而这些数据在军事领域可能很难获得。明确编程的手工知识系统在开发过程中需要数据进行评估和验证。 ML 系统在开发过程中对数据的依赖性更大。如图 4 所示，ML 系统从代表操作条件和事件的数据集中“学习”。 ML系统学习的过程也称为被训练，开发阶段使用的数据称为训练数据集。有几种类型的 ML 学习或训练——它们是有监督的、无监督的和强化的。所有三种类型的 ML 学习都需要训练数据集。 ML 系统在部署后或运营阶段继续需要数据。图 4 显示，在运营期间，ML 系统或“模型”接收运营实时数据，并通过使用其“训练过的”算法处理运营数据来确定预测或决策结果。因此，在整个系统工程和采集生命周期中，ML 系统与数据密切相关。 ML 系统从训练数据集的学习过程中“出现”。机器学习系统是数据质量、充分性和代表性的产物。他们完全依赖于他们的训练数据集。

图 4. 开发和实施机器学习系统

随着许多领域（战争、供应链、安全、物流等）的更多 AI 开发人员正在了解 AI 解决方案的潜在优势并开始着手 AI 系统开发，DoD 开始认识到对这些数据集的需求。在某些情况下，数据存在并准备好支持 AI 系统开发。在其他情况下，数据存在但不保存和存储。最后，在其他情况下，数据不存在，需要模拟或在舰队演习或战争游戏中收集。图 5 说明了收集、获取和在某些情况下开发用于开发和训练 AI 和 ML 系统的数据时需要考虑的过程。

图 5. 人工智能和机器学习系统训练数据集的开发

军事领域对开发训练数据集提出了一些独特的挑战——数据可能被分类，数据可能存在网络漏洞（它可能被攻击并被对手故意破坏），如果数据不存在，它可能需要从军事/舰队演习或兵棋推演中获得。数据验证也是一项具有挑战性的工作。

NPS 正在为海军的数据管理系统执行需求分析和概念设计，该系统将收集数据并向海军内部许多正在开发 AI/ML 系统的不同组织提供数据（French 等人，2021 年）。图 6 是海军中央人工智能库 (CAIL) 的上下文图，它被设想为一个数据管理系统和流程，用于识别数据集并提供索引、验证、审计和对 AI 可以使用的数据的安全访问。从事海军应用的机器学习开发人员。 CAIL 将不是一个数据存储库或数据库，而是一个中央组织，使 AI/ML 开发人员能够访问经过验证和保护的海军数据——以帮助识别数据集的存在，启用授权访问，并帮助支持开发人员所需的数据尚不存在，需要获得——可能通过舰队演习或兵棋推演。

图 6. 概念性中央人工智能库

挑战三:人工智能为系统工程开辟了新领域

第三个独特的挑战是开发人工智能系统为系统工程提出了一个新的前沿。系统工程方法已被开发用于设计可能非常复杂但也具有确定性的传统系统（Calvano & John，2004）。传统系统具有可预测的行为：对于给定的输入和条件，它们将产生可预测的输出。图 7 说明了对传统 SE 方法（如 SE Vee 过程）进行更改的必要性，以便设计复杂且不确定的 AI 系统。特别是，需要新的方法来定义随时间适应的学习系统的要求，并且系统验证过程可能需要在操作过程中不断发展和继续，以确保安全和期望的行为。对于具有高风险后果的军事系统，几乎没有出错的余地，因此需要实施一个可以确保 AI 系统安全和预期操作的系统工程流程。

图7. 人工智能:系统工程的新前沿

国际系统工程师理事会 (INCOSE) 最近的一项倡议已经开始探索需要对系统工程方法进行哪些改变才能有效地开发人工智能系统。图 8 是作为该计划的一部分创建的，旨在强调在 SE 过程中需要考虑的 AI 系统的五个方面。除了不确定性和不断发展的行为之外，人工智能系统可能会出现新类型的故障模式，这些故障模式可能会突然发生，并且可能难以辨别其根本原因。稳健的设计——或确保人工智能系统能够处理和适应未来的场景——是另一个系统工程设计考虑因素。最后，对于涉及更多人机交互的 AI 系统，必须特别注意设计系统，使其值得信赖、可解释并最终对人类决策者有用。

图 8. 人工智能系统工程中的挑战

NPS 正在研究可以支持复杂、自适应和智能 AI 系统的设计和开发的系统工程方法。已经开发了一个系统工程框架和方法来设计系统解决方案的复杂自适应系统（Johnson，2019）。该方法支持系统系统的开发，通过使用人工智能，可以协作以产生所需的紧急行为。当前的一个研究项目正在研究可以在设计过程中设计到 AI 系统中的安全措施，以确保操作期间的安全（Cruz 等人，2021 年）。 NPS 正在研究一种称为元认知的设计解决方案，作为 AI 系统识别内部错误的一种方法（Johnson，2021 年）。当前的另一个 NPS 论文项目正在研究如何将“信任”设计到 AI 系统中，以确保有效的人机协作安排（Hui，2021）。几个 NPS 项目研究使用称为协同设计的 SE 设计方法，来确定人类操作员与 AI 系统之间的相互依赖关系（Blickley 等人，2021；Sanchez，2021）。

挑战四: 敌手

第四个独特的挑战是对手在防御应用中的存在和作用。国防部必须与对手竞争以提升人工智能能力，人工智能系统必须免受网络攻击，人工智能系统必须适应不断变化的威胁环境演变。图 9 突出显示了对手的存在给国防部正在开发的 AI 系统带来的一系列独特挑战。

图9. 敌手的挑战

竞争对手国家之间开发人工智能能力的竞赛最终是为了进入对手的决策周期，以比对手更快的速度做出决定和采取行动（Rosenberg，2010 年）。人工智能系统提供了提高决策质量和速度的潜力，因此对于获得决策优势至关重要。随着国防部探索人工智能解决方案，同行竞争对手国家也在做同样的事情。最终，实现将 AI 用于 DoD 的目标不仅仅取决于 AI 研究。它需要适当的数据收集和管理、有效的系统工程和采集方法，以及仔细考虑人类与人工智能系统的交互。国防部必须确保它能够应对实施人工智能系统所涉及的所有挑战，才能赢得比赛。NPS 研究计划正在研究如何应用 AI 和博弈论来进入对手的战术决策周期（Johnson，2020b）。该项目正在开发一个概念，用于创建战术态势模型、对手的位置和能力，以及预测对手对形势的了解。然后，概念系统将进行实时“兵棋推演”，根据预测的对抗反应和二阶和三阶效应分析战术决策选项。这是一个研究未来战术战争可能是什么样子的一个例子，它为蓝军和红军提供了增强的知识和决策辅助。为 AI 竞赛准备国防部的其他 NPS 举措包括研究新的 SE 方法和获取实践以开发 AI 能力、研究海军和国防部的数据管理需求（French 等人，2021 年）以及研究 AI 系统安全风险开发确保安全 AI 能力的工程实践（Cruz 等人，2021 年；Johnson，2021 年）。

赛博战是国防部必须成功参与的另一场竞赛，以保持领先于黑客攻击的持续攻击。随着国防部实施更多的自动化，它自然会导致更多的网络漏洞。使用本质上依赖于训练数据和操作数据的人工智能系统，为黑客在开发阶段和操作阶段用损坏的数据毒害系统提供了机会。如果对手控制了一个可操作的人工智能系统，他们可能造成的伤害将取决于应用程序领域。对于支持武器控制决策的自动化，后果可能是致命的。在最近一项关于汽车网络安全的研究中，一家汽车公司在网上发布了一个假汽车电子控制单元，在不到 3 天的时间里，进行了 25,000 次违规尝试（Taub，2021 年）。国防部必须注意人工智能系统开发过程中出现的特定网络漏洞。必须为每个新的人工智能系统实施仔细的网络风险分析和网络防御策略。 NPS 正在研究数据安全要求，以确保 ML 训练数据集不受黑客攻击，并且需要安全授权才能访问（French 等人，2021 年）。 NPS 正在研究使用元认知作为 AI 系统执行自我评估的一种方法，以识别网络入侵、篡改或任何异常行为（Johnson，2020b）。 NPS 还在研究使用 ML 来识别恶意欺骗和篡改全球定位系统 (GPS; Kennedy, 2020)。

威胁环境的演变是国防部在开发人工智能系统时的第三次对抗性竞赛。由于对抗性威胁空间随着时间的推移而不断变化，拥有更快、更致命的武器、更多的自主权、更大的监视资产、更先进的对抗措施和更多的隐身性，这对国防部能够预测和识别新威胁并进行应对提出了挑战战场上的未知数。 NPS 研究的重点是在作战过程中不断适应和学习的工程系统，以检测和识别战场中的未知未知，并通过创新的行动方案快速响应新威胁（Grooms，2019；Jones 等人，2020；Wood，2019 ）。 NPS 正在研究通过研究特定区域随时间变化的数据来识别异常变化的机器学习方法（Zhao et al., 2016）。一个例子是研究商用飞机飞行模式并根据异常飞行模式识别可疑飞机。随着时间的推移，可以监视地面行动，以识别可能意味着军事行动的新的和不寻常的建设项目。

结论

人工智能系统为国防部在实现和保持知识和决策优势方面提供了重大进展。然而，为国防应用实施人工智能系统提出了独特的挑战。军事战术领域在决策空间的所有领域都呈现出极端的复杂性：不确定性和有限的知识、高度动态的情况、非常有限的时间线、复杂的人机交互、大量和类型的资源、多个任务、昂贵且难以获得训练数据集、极小的允许误差范围以及行动（或不行动）的生死攸关的后果。 AI 系统，尤其是 ML 系统，需要有代表性、足够、安全和经过验证的数据集来进行开发。为国防应用收集合适的数据具有处理分类数据集和确保数据安全和免受网络攻击的额外挑战；这也将是收集代表战术行动的真实数据的一项重大努力。将需要新的系统工程方法来有效地指定、设计和评估人工智能系统，这些系统通过其不确定性、新型人机协作挑战以及难以预测和预防的新安全故障模式而呈现出新的复杂性.最后，军事领域中对手的存在呈现出三种形式的 AI 竞赛：与对手一样快地开发 AI 系统的竞赛、保持领先于可能的网络攻击的竞赛以及训练能够应对的 AI/ML 系统的竞赛随着不断发展的对抗性威胁空间。

NPS 正在通过一系列正在进行的研究计划来解决四个独特的挑战领域。 NPS 研究人员正在研究人工智能系统在海军战术作战领域的实施，对军事数据集进行需求分析和需求开发，研究开发复杂人工智能系统的系统工程方法，以及开发安全、可信赖的人工智能系统工程方法，并注意潜在对手的作用。 NPS 正在为军官和平民学生提供人工智能研究和教育机会。 NPS 欢迎与国防部和海军组织合作，继续研究用于国防应用的人工智能系统，并继续探索解决方案战略和方法，以克服开发和实施人工智能能力的挑战。