万字译文《海战中实施人工智能的挑战》2023最新报告

随着技术的飞速发展和威胁环境变得更加复杂，今天的海军行动经常面临着具有挑战性的决策空间。人工智能（AI）的进步为解决海军行动中日益复杂的问题提供了潜在的解决方案。未来的人工智能系统提供了潜在的意义深远的好处--提高对态势的认识，增加对威胁和对手能力和意图的了解，识别和评估可能的战术行动方案，并提供方法来预测行动方案决定的结果和影响。人工智能系统将在支持未来海军作战人员和保持作战和战术任务优势方面发挥关键作用。

人工智能系统为海战提供了优势，但前提是这些系统的设计和实施方式能够支持有效的作战人员-机器团队，改善作战情况的不确定性，并提出改善作战和战术结果的建议。实施人工智能系统，以满足海军应用的这些苛刻需求，给工程设计界带来了挑战。本文确定了四个挑战，并描述了它们如何影响战争行动、工程界和海军任务。本文提供了通过研究和工程倡议来解决这些挑战的解决思路。

引言

人工智能是一个包括许多不同方法的领域，目的是创造具有智能的机器（Mitchell 2019）。自动化系统的运作只需要最小的人类输入，并经常根据命令和规则执行重复性任务。人工智能系统是自动化机器，执行模仿人类智能的功能。它们将从过去的经验中学习到的新信息融入其中，以做出决定并得出结论。

如表1所述，人工智能系统有两种主要类型。第一种类型是明确编程的专家系统。Allen（2020，3）将专家系统描述为手工制作的知识系统，使用传统的、基于规则的软件，将人类专家的主题知识编入一长串编程的 "如果给定x输入，则提供y输出"的规则。这些系统使用传统的编程语言。第二种类型是ML系统，从大型数据集中进行训练。ML系统自动学习并从经验中改进，而不需要明确地进行编程。一旦ML系统被 "训练"，它们就被用于操作，以产生新的操作数据输入的结果。

表1. 两类人工智能系统

人工智能系统--包括专家系统和学习系统--为海军提供了巨大的潜力，在大多数任务领域有不同的应用。这些智能系统可以扩展海军的能力，以了解复杂和不确定的情况，制定和权衡选择，预测行动的成功，并评估后果。它们提供了支持战略、作战计划和战术领域的潜力。

本文确定了工程设计界必须解决的四个挑战，以便为未来海战任务实施人工智能系统。表2强调了这四个挑战领域。这些挑战包括：（1）复杂的海战应用领域；（2）需要收集大量与作战相关的数据来开发、训练和验证人工智能系统；（3）人工智能系统工程的一些新挑战；（4）存在对手的人工智能进展，不断变化和发展的威胁，以及不断变化的人工智能系统的网络弱点。本文侧重于海军战争的四个挑战领域，但认识到这些挑战可以很容易地被概括为整个军队在未来人工智能系统可能应用的所有战争领域中广泛存在的挑战。

表2. 为海军实施人工智能系统的四个挑战领域

挑战一：战争复杂性

人工智能正被视为一种能力，可应用于广泛的应用，如批准贷款、广告、确定医疗、规划航运路线、实现自动驾驶汽车和支持战争决策。每个不同的应用领域都提出了一系列的挑战，人工智能系统必须与之抗衡，才能成为一种增加价值的可行能力。表3比较了一组领域应用的例子，从潜在的人工智能系统解决方案的角度说明了挑战的领域。该表在最上面一行列出了一组10个因素，这些因素对一个特定的应用程序产生了复杂性。根据每个因素对作为实施人工智能的领域的整体复杂性的贡献程度，对六个应用领域的特征进行了定性评估。颜色代表低贡献（绿色）、中贡献（黄色）和高贡献（红色）。

表3中最上面一行显示的特征包括： (1)认识上的不确定性水平（情况知识的不确定性程度），(2)情况的动态性，(3)决策时间表（可用于决策的时间量），(4)人类用户和人工智能系统之间的互动所涉及的错综复杂的问题、 (5）资源的复杂性（数量、类型、它们之间的距离以及它们的动态程度），（6）是否涉及多个任务，（7）所需训练数据集的复杂性（大小、异质性、有效性、脆弱性、可获得性等 8）对手的存在（竞争者、黑客或彻头彻尾的敌人），（9）可允许的错误幅度（多少决策错误是可以接受的），以及（10）决策后果的严重程度。该表的定性比较旨在提供一个高层次的相对意义，即基于一组样本的贡献因素，不同应用领域的不同复杂程度。

表3. 影响应用复杂性的因素比较

对于所有的应用领域来说，人工智能系统的工程都是具有挑战性的。人工智能系统在本质上依赖于具有领域代表性的数据。获得具有领域代表性的数据会带来基于数据大小、可用性、动态性和不确定性的挑战。决策时间--由情况的时间动态决定--会给人工智能系统工程带来重大挑战--特别是当一个应用领域的事件零星发生和/或意外发生时；以及当决策是时间紧迫的时候。具有更多决策时间、充分访问大型数据集、直接的用户互动、完善的目标和非致命后果的应用，如贷款审批、广告、医疗诊断（在某种程度上）面临工程挑战，但其复杂程度较低。确定最佳运输路线和为自动驾驶汽车设计AI系统是更复杂的工作。这些应用是动态变化的，做决定的时间较短。航运路线将在可能的路线数量上具有复杂性--这可能会导致许多可能的选择。然而，航运错误是有空间的，而且后果通常不会太严重。对于自动驾驶汽车来说，决策错误的空间非常小。在这种应用中，决策失误会导致严重的事故。

影响开发支持海战决策的人工智能系统的因素在表3所示的所有类别中都具有高度的复杂性。因此，战术战争领域对工程和实施有效的人工智能系统作为解决方案提出了特别棘手的挑战。表4强调了导致这种复杂性的海战领域的特点。作为一个例子，海军打击力量的行动可以迅速从和平状态转变为巨大的危险状态--需要对威胁保持警惕并采取适当的反应行动--所有这些都是在高度压缩的决策时间内进行。战术威胁可能来自水下、水面、空中、陆地、太空，甚至是网络空间，导致需要处理多种时间紧迫的任务。由于海军和国防资产在舰艇、潜艇、飞机、陆地和太空中，战术决策空间必须解决这些分散和多样化资源的最佳协作使用。制定有效的战术行动方案也必须在高度动态的作战环境中进行，并且只有部分和不确定的情况知识。决策空间还必须考虑到指挥权、交战规则和战术理论所带来的限制。人类作为战术决策者的角色增加了决策空间的复杂性--信息过载、操作错误、人机信任和人工智能的模糊性/可解释性问题等挑战。最后，对于战术决策及其可能的后果来说，风险可能非常大。

表4. 导致战术决策复杂性的因素

解决高度复杂的决策领域是对海军的挑战。人工智能为解决海军作战的复杂性提供了一个潜在的解决方案，即处理大量的数据，处理不确定性，理解复杂的情况，开发和评估决策选择，以及理解风险水平和决策后果。Desclaux和Prestot（2020）提出了一个 "认知三角"，其中人工智能和大数据被应用于支持作战人员，以实现信息优势、控制论信心和决策优势。约翰逊（2019年）开发了一个工程框架和理论，用于解决高度复杂的问题空间，这些问题需要使用智能和分布式人工智能系统来获得情况意识，并做出适应动态情况的协作行动方案决定。约翰逊（2020a）建立了一个复杂的战术场景模型，以证明人工智能辅助决策对战术指挥和控制（C2）决策的好处。约翰逊（2020b）开发了一个预测分析能力的概念设计，作为一个自动化的实时战争游戏系统来实施，探索不同的可能的战术行动路线及其预测的效果和红色部队的反应。首先，人工智能支持的C2系统需要描述战术行动期间的复杂程度，然后提供一个自适应的人机组合安排来做出战术决策。这个概念包括根据对目前战术情况的复杂程度最有效的方法来调整C2决策的自动化水平（人与机器的决策角色）。约翰逊（2021年）正在研究这些概念性工程方法在各种防御用例中的应用，包括空中和导弹防御、超视距打击、船舶自卫、无人机操作和激光武器系统。

在海军作战中实施人工智能系统的一个额外挑战是在战术边缘施加的限制。分散的海军舰艇和飞机的作战行动构成了战术边缘--在有限的数据和通信下作战。"在未来，战术边缘远离指挥中心，通信和计算资源有限，战场形势瞬息万变，这就导致在严酷复杂的战地环境中，网络拓扑结构连接薄弱，变化迅速"（Yang et. al. 2021）。战术边缘网络也容易断开连接（Sridharan et. al. 2020）。相比之下，许多商业人工智能系统依赖于基于云的或企业内部的处理和存储，而这些在海战中是不存在的。在战术边缘实施未来的人工智能系统时，必须进行仔细的设计考虑，以了解哪些数据和处理能力可用。这可能会限制人工智能系统在边缘所能提供的决策支持能力。

在军事领域使用人工智能必须克服复杂性的挑战障碍，在某些情况下，人工智能的加入可能会增加复杂性。辛普森等人（2021）认为，将人工智能用于军事C2可能会导致脆弱性陷阱，在这种情况下，自动化功能增加了战斗行动的速度，超出了人类的理解能力，最终导致 "灾难性的战略失败"。Horowitz等人（2020）讨论了通过事故、误判、增加战争速度和升级以及更大的杀伤力来增加国际不稳定和冲突。Jensen等人（2020）指出，人工智能增强的军事系统增加的复杂性将增加决策建议和产生的信息的范围、重要性和意义的不确定性；如果人类决策者对产出缺乏信心和理解，他们可能会失去对人工智能系统的信任。

挑战二：数据需求

实施人工智能系统的第二个挑战是它们依赖并需要大量的相关和高质量的数据用于开发、训练、评估和操作。在海战领域满足这些数据需求是一个挑战。明确编程的专家系统在开发过程中需要数据进行评估和验证。ML系统在开发过程中对数据的依赖性甚至更大。图1说明了ML系统如何从代表作战条件和事件的数据集中 "学习"。

ML系统的学习过程被称为被训练，开发阶段使用的数据被称为训练数据集。有几种类型的ML学习或训练--它们是监督的、无监督的和强化的方法。监督学习依赖于地面真相或关于输出值应该是什么的先验知识。监督学习算法的训练是为了学习一个最接近给定输入和期望输出之间关系的函数。无监督学习并不从地面真相或已知的输出开始。无监督学习算法必须在输入数据中推断出一个自然结构或模式。强化学习是一种试错法，允许代理或算法在奖励所需行为和/或惩罚不需要的行为的基础上学习。所有三种类型的ML学习都需要训练数据集。在部署后或运行阶段，ML系统继续需要数据。

图1显示，在运行期间，ML系统或 "模型 "接收运行的实时数据，并通过用其 "训练 "的算法处理运行数据来确定预测或决策结果。因此，在整个系统工程和采购生命周期中，ML系统与数据紧密相连。ML系统是从训练数据集的学习过程中 "出现 "的。ML系统是数据的质量、充分性和代表性的产物。它们完全依赖于其训练数据集。

图1. 使用数据来训练机器学习系统

美国海军开始认识到对这些数据集的需求，因为许多领域（战争、供应链、安全、后勤等）的更多人工智能开发人员正在了解人工智能解决方案的潜在好处，并开始着手开发人工智能系统。在某些情况下，数据已经存在并准备好支持人工智能系统的开发。在其他情况下，数据存在但没有被保存和储存。最后，在其他情况下，数据并不存在，海军需要制定一个计划来获得或模拟数据。

收集数据以满足海军领域（以及更广泛的军事领域）的未来人工智能/ML系统需求是一个挑战。数据通常是保密的，在不同的项目和系统中被分隔开来，不容易从遗留系统中获得，并且不能普遍代表现实世界行动的复杂性和多样性。要从并非为数据收集而设计的遗留系统中获得足够的数据，可能非常昂贵和费时。数据收集可能需要从战争游戏、舰队演习、系统测试、以及建模和模拟中收集。此外，和平时期收集的数据并不代表冲突和战时的操作。海军（和军方）还必须教导人工智能系统在预计的战时行动中发挥作用。这将涉及想象可能的（和可能的）战时行动，并构建足够的ML训练数据。

数据收集的另一个挑战是潜在的对抗性黑客攻击。对于人工智能/ML系统来说，数据是一种珍贵的商品，并提出了一种新的网络脆弱性形式。对手可以故意在开发过程中引入有偏见或腐败的数据，目的是错误地训练AI/ML算法。这种邪恶的网络攻击形式可能很难被发现。

海军正在解决这一数据挑战，开发一个数据基础设施和组织来管理已经收集和正在收集的数据。海军的Jupiter计划是一个企业数据和分析平台，正在管理数据以支持AI/ML的发展和其他类型的海军应用，这些应用需要与任务相关的数据（Abeyta，2021）。Jupiter努力的核心是确定是否存在正确的数据类型来支持人工智能应用。为了生产出在行动中有用的人工智能/ML系统，海军需要在游戏中保持领先，拥有能够代表各种可能情况的数据集，这些情况跨越了竞争、冲突和危机期间的行动范围。因此，数据集的开发和管理必须是一项持续的、不断发展的努力。

挑战三：工程化人工智能系统

第三个挑战是，人工智能系统的工程需要改变传统的系统工程（SE）。在传统系统中，行为是设定的（确定性的），因此是可预测的：给定一个输入和条件，系统将产生一个可预测的输出。一些人工智能解决方案可能涉及到系统本身的复杂性--适应和学习--因此产生不可预见的输出和行为。事实上，一些人工智能系统的意图就是要做到这一点--通过承担一些认知负荷和产生智能建议，与人类决策者合作。表5强调了传统系统和人工智能系统之间的区别。需要有新的SE方法来设计智能学习系统，并确保它们对人类操作者来说是可解释的、可信任的和安全的。

SE作为一个多学科领域，在海军中被广泛使用，以将技术整合到连贯而有用的系统中，从而完成任务需求（INCOSE 2015）。SE方法已经被开发出来用于传统系统的工程设计，这些系统可能是高度复杂的，但也是确定性的（Calvano和John 2004）。如表5所述，传统系统具有可预测的行为：对于一个给定的输入和条件，它们会产生可预测的输出。然而，许多海军应用的人工智能系统在本质上将是复杂的、适应性的和非决定性的。Raz等人（2021年）解释说，"SE及其方法的雏形基础并不是为配备人工智能（即机器学习和深度学习）的最新进展、联合的多样化自主系统或多领域操作的工程系统而设想的。" 对于具有高风险后果的军事系统来说，出错的余地很小；因此，SE过程对于确保海军中人工智能系统的安全和理想操作至关重要。

表5. 传统系统和人工智能系统的比较

在整个系统生命周期中，将需要改变SE方法，以确保人工智能系统安全有效地运行、学习和适应，以满足任务需求并避免不受欢迎的行为。传统的SE过程的大部分都需要转变，以解决人工智能系统的复杂和非确定性的特点。在人工智能系统的需求分析和架构开发阶段需要新的方法，这些系统将随着时间的推移而学习和变化。系统验证和确认阶段将必须解决人工智能系统演化出的突发行为的可能性，这些系统的行为不是完全可预测的，其内部参数和特征正在学习和变化。运营和维护将承担重要的任务，即随着人工智能系统的发展，在部署期间不断确保安全和理想的行为。

SE界意识到，需要新的流程和实践来设计人工智能系统。国际系统工程师理事会（INCOSE）最近的一项倡议正在探索开发人工智能系统所需的SE方法的变化。表6强调了作为该倡议一部分的五个SE重点领域。除了非决定性的和不断变化的行为，人工智能系统可能会出现新类型的故障模式，这些故障模式是无法预料的，可能会突然发生，而且其根本原因可能难以辨别。稳健设计--或确保人工智能系统能够处理和适应未来的情景--是另一个需要新方法的SE领域。最后，对于有更多的人机互动的人工智能系统，必须仔细注意设计系统，使它们值得信赖，可以解释，并最终对人类决策者有用。

表6.人工智能系统工程中的挑战（改编自：Robinson，2021）。

SE研究人员正在研究人工智能系统工程所涉及的挑战，并开发新的SE方法和对现有SE方法的必要修改。Johnson（2019）开发了一个SE框架和方法，用于工程复杂的适应性系统（CASoS）解决方案，涉及分布式人工智能系统的智能协作。这种方法支持开发智能系统的系统，通过使用人工智能，可以协作产生所需的突发行为。Johnson（2021）研究了人工智能系统产生的潜在新故障模式，并提出了一套跨越SE生命周期的缓解和故障预防策略。她提出了元认知，作为人工智能系统自我识别内部错误和失败的设计方案。Cruz等人（2021年）研究了人工智能在空中和导弹防御应用中使用人工智能辅助决策的安全性。他们为计划使用人工智能系统的军事项目编制了一份在SE开发和运行阶段需要实施的策略和任务清单。Hui（2021年）研究了人类作战人员与人工智能系统合作进行海军战术决策时的信任动态。他制定了工程人工智能系统的SE策略，促进人类和机器之间的 "校准 "信任，这是作为适当利用的最佳信任水平，避免过度信任和不信任，并在信任失败后涉及信任修复行动。Johnson等人（2014）开发了一种SE方法，即协同设计，用于正式分析人机功能和行为的相互依赖性。研究人员正在使用协同设计方法来设计涉及复杂人机交互的稳健人工智能系统（Blickey等人，2021年，Sanchez 2021年，Tai 2021年）。

数据的作用对于人工智能系统的开发和运行来说是不可或缺的，因此需要在人工智能系统的SE生命周期中加入一个持续不断的收集和准备数据的过程。Raz等人（2021）提出，SE需要成为人工智能系统的 "数据策划者"。他们强调需要将数据策划或转化为可用的结构，用于开发、训练和评估AI算法。French等人（2021）描述了需要适当的数据策划来支持人工智能系统的发展，他们强调需要确保数据能够代表人工智能系统将在其中运行的预期操作。他们强调需要安全访问和保护数据，以及需要识别和消除数据中的固有偏见。

SE界正处于发展突破和进步的早期阶段，这些突破和进步是在更复杂的应用中设计人工智能系统所需要的。这些进展需要与人工智能的进展同步进行。在复杂的海军应用以及其他非海军和非军事应用中实施人工智能系统取决于是否有必要的工程实践。SE实践必须赶上AI的进步，以确保海军持续的技术优势。

挑战四：对抗性

海军在有效实施人工智能系统方面面临的第四个挑战是应对对手。海军的工作必须始终考虑对手的作用及其影响。表7确定了在海军实施人工智能系统时必须考虑的与对手有关的三个挑战：(1)人工智能技术在许多领域迅速发展，海军必须注意同行竞争国的军事应用进展，以防止被超越，(2)在海军应用中实施人工智能系统和自动化会增加网络脆弱性，以及(3)海军应用的人工智能系统需要发展和适应，以应对不断变化的威胁环境。

表7. AI系统的对抗性挑战

同行竞争国家之间发展人工智能能力的竞赛，最终是为了进入对手的决策周期，以便比对手更快地做出决定和采取行动（Schmidt等人，2021年）。人工智能系统提供了提高决策质量和速度的潜力，因此对获得决策优势至关重要。随着海军对人工智能解决方案的探索，同行的竞争国家也在做同样的事情。最终实现将人工智能应用于海军的目标，不仅仅取决于人工智能研究。它需要适当的数据收集和管理，有效的SE方法，以及仔细考虑人类与AI系统的互动。海军必须承认，并采取行动解决实施人工智能系统所涉及的挑战，以赢得比赛。

网络战是海军必须成功参与的另一场竞赛，以保持在不断冲击的黑客企图中的领先地位。网络战的特点是利用计算机和网络来攻击敌人的信息系统（Libicki, 2009）。海军对人工智能系统的实施导致了更多的网络攻击漏洞。人工智能系统的使用在本质上依赖于训练和操作数据，导致黑客有机会在开发阶段和操作阶段用腐败的数据欺骗或毒害系统。如果一个对手获得了对一个运行中的人工智能系统的控制，他们可能造成的伤害将取决于应用领域。对于支持武器控制决策的自动化，其后果可能是致命的。海军必须注意人工智能系统开发过程中出现的特殊网络漏洞。必须为每个新的人工智能系统实施仔细的网络风险分析和网络防御战略。海军必须小心翼翼地确保用于开发、训练和操作人工智能系统的数据集在整个人工智能系统的生命周期中受到保护，免受网络攻击（French等人，2021）。

威胁环境的演变是海军在开发AI系统时面临的第三个对抗性挑战。对手的威胁空间随着时间的推移不断变化，武器速度更快、杀伤力更大、监视资产更多、反制措施更先进、隐身性更强，这对海军能够预测和识别新威胁、应对战斗空间的未知因素构成了挑战。尤其是人工智能系统，必须能够加强海军感知、探测和识别新威胁的能力，以帮助它们从未知领域转向已知领域的过程。他们必须适应新的威胁环境，并在行动中学习，以了解战斗空间中的未知因素，并通过创新的行动方案快速应对新的威胁（Grooms 2019, Wood 2019, Jones et al 2020）。海军可以利用人工智能系统，通过研究特定区域或领域的长期数据，识别生活模式的异常（Zhao等人，2016）。最后，海军可以探索使用人工智能来确定新的和有效的行动方案，使用最佳的战争资源来解决棘手的威胁情况。

结论

人工智能系统为海军战术决策的优势提供了相当大的进步潜力。然而，人工智能系统在海战应用中的实施带来了重大挑战。人工智能系统与传统系统不同--它们是非决定性的，可以学习和适应--特别是在用于更复杂的行动时，如高度动态的、时间关键的、不确定的战术行动环境中，允许的误差范围极小。本文确定了为海战行动实施人工智能系统的四个挑战领域：（1）开发能够解决战争复杂性的人工智能系统，（2）满足人工智能系统开发和运行的数据需求，（3）设计这些新颖的非确定性系统，以及（4）面对对手带来的挑战。

海军必须努力解决如何设计和部署这些新颖而复杂的人工智能系统，以满足战争行动的需求。作者在这一工作中向海军提出了三项建议。

1.第一个建议是了解人工智能系统与传统系统之间的差异，以及伴随着人工智能系统的开发和实施的新挑战。

人工智能系统，尤其是那些旨在用于像海战这样的复杂行动的系统，其本身就很复杂。它们在应对动态战争环境时将会学习、适应和进化。它们将变得不那么容易理解，更加不可预测，并将出现新型的故障模式。海军将需要了解传统的SE方法何时以及如何在这些复杂系统及其复杂的人机交互工程中失效。海军将需要了解数据对于开发人工智能系统的关键作用。

2.第二个建议是投资于人工智能系统的研究和开发，包括其数据需求、人机互动、SE方法、网络保护和复杂行为。

研究和开发是为海战行动开发AI系统解决方案的关键。除了开发复杂的战术人工智能系统及其相关的人机协作方面，海军必须投资研究新的SE方法来设计和评估这些适应性非决定性系统。海军必须仔细研究哪些新类型的对抗性网络攻击是可能的，并且必须开发出解决这些问题的解决方案。海军必须投资于收集、获取和维护代表现实世界战术行动的数据，用于人工智能系统开发，并确保数据的相关性、有效性和安全性。

3.第三个建议是承认挑战，并在预测人工智能系统何时准备好用于战争行动方面采取现实态度。

尽管人工智能系统正在许多领域实施，但海军要为复杂的战术战争行动实施人工智能系统还需要克服一些挑战。人工智能系统在较简单应用中的成功并不能保证人工智能系统为更复杂的应用做好准备。海军应该保持一种现实的认识，即在人工智能系统准备用于战争决策辅助工具之前，需要取得重大进展以克服本文所讨论的挑战。实现人工智能系统的途径可以依靠建模和模拟、原型实验、舰队演习以及测试和评估。可以制定一个路线图，弥合较简单应用的人工智能和复杂应用的人工智能之间的差距--基于一个积木式的方法，在为逐渐复杂的任务开发和实施人工智能系统时吸取经验教训。

海军将从未来用于战术战争的人工智能系统中获益。通过安全和有效地实施人工智能系统，战术决策优势的重大进步是可能的。此外，海军必须跟上（或试图超越）对手在人工智能方面的进展。本文描述了为在海战中实施人工智能系统而必须解决的四个挑战。通过对这些新颖而复杂的人工智能系统的深入了解，对研究和开发计划的投资，以及对人工智能技术进步时限的现实预期，海军可以在应对这些挑战方面取得进展。