《敏捷、抗脆弱、以人工智能为基础的指挥和控制》万字长文，中文版，新南威尔士大学

人工智能（AI）正迅速融入军事指挥与控制（C2）系统，成为许多国防部队的战略重点。人工智能的成功实施有希望预示着通过自动化实现C2灵活性的重大飞跃。然而，需要对人工智能在可预见的未来所能实现的目标设定现实的期望。本文认为，人工智能可能会导致脆弱性陷阱，即把C2功能委托给人工智能会增加C2的脆弱性，导致灾难性的战略失败。这就要求在C2中建立一个新的人工智能框架以避免这种陷阱。我们将论证，"抗脆弱性 "和敏捷性应该构成人工智能C2系统的核心设计原则。这种双重性被称为敏捷、抗脆弱、人工智能驱动的指挥和控制（A3IC2）。一个A3IC2系统通过C2决策周期中的反馈过度补偿，不断提高其在面对冲击和意外时的表现能力。一个A3IC2系统不仅能够在复杂的作战环境中生存，还能茁壮成长，从战争中不可避免的冲击和波动中获益。

I 引言

许多人认为，将人工智能（AI）纳入军事指挥和控制（C2）是建立军事力量竞争优势的一个关键因素[1],[2],[3]。人们对人工智能在战场上能够实现的目标抱有很高的期望，有些人宣称它是下一场"军事事务革命"[4]。人工智能有望在C2中实现复杂功能自动化，从而导致"战场奇点"的概念，即决策周期自动化带来的行动速度的增加导致人类的认知无法跟上机器做出决定的速度[3]。在这种对未来战场的展望中，人被认为是C2系统中的一个薄弱环节[5]。

本文认为，人工智能的整合可能会对寻求机器速度决策的C2系统性能产生意想不到的后果；从战略上讲，一个已经达到 "战场奇点"的系统在根本上是脆弱的。人工智能的快速发展及其对C2系统明显的革命性/颠覆性影响在很大程度上是由对战争期间对对手的 "响应"程度的关注所引导的，而不是对这种技术可能对C2系统性能的整体影响。文献中提出了两个假设：第一，假设人工智能将通过优化系统的各个部分来进一步实现提高敏捷性的目标；第二，由于复杂的人工智能能够在战时做出决定，甚至在战略层面做出决定，未来人工智能支持的C2系统将在尽可能少的人力投入下得到改善[6],[7]。这两个假设都是错误的，因为人工智能带来了独特的特性，可能会增加C2系统的脆弱性。

传统上，C2系统被认为受益于一种战略，该战略侧重于在复杂的竞争环境中最大限度地提高敏捷性[8],[9],[10],[11]。David Alberts用 "敏捷C2"的概念体现了这一战略，该概念指出，为了使C2系统有效，它必须能够在复杂的环境中成功应对、利用和实现变化。C2的有效性是通过系统要素的相互作用来实现的，如适应性、响应性、灵活性、多功能性、创新性和复原力[8]。然而，对"敏捷C2"模式的接受使大多数军事C2理论和文献将人工智能技术作为提高C2决策单独响应性的手段[1],[2],[7],[3],[5]，而对C2系统需要响应性以满足战略利益这一单纯的事实则关注较少。问题的核心就在这里，提高响应能力的人工智能是否能够做到这一点，同时了解决策对跨多个领域的战略和大战略目标的影响。我们认为，尽管人工智能很先进，但由于人工智能系统容易受到具有战略后果的黑天鹅事件的影响，在作战环境中的预测从根本上来说是脆弱的[4]。人工智能的优化特性，加上人类责任的减少，可能成为阻碍C2敏捷性的 "脆弱 "方法。

为了否定上述可能导致人工智能C2系统脆弱性的一些问题，需要一个新的设计原则，以增强系统从波动中自我改善的能力，即所谓的 "抗脆弱性"[12],[13]。适当设计的人工智能可以通过在系统级存储器中积累适当的遭遇和学习经验来实现抗脆弱系统的发展，但它也可能鼓励C2决策周期的过度优化。这可能会导致系统无法识别和解释突发事件，但仍然快速推荐决策，导致负面风险的升级。因此，人工智能的整合支持了一种新模式的发展，扩展了敏捷C2的概念，并包含了抗脆弱性。这将被称为 "敏捷、抗脆弱、人工智能驱动的指挥与控制"（A3IC2），它是敏捷C2、抗脆弱理论和人工智能用于C2的综合体，建立在Boyd、Brehmer和Alberts[14],[8]所开发的模型之上。

为了探讨A3IC2，本文的结构如下。第二节介绍了文献回顾，将A3IC2概念与之前的其他概念区分开来。然后在第三节中介绍了人工智能导致脆弱性，接着在第四节中论证了抗脆弱性将使人工智能在C2系统中得到有效利用的原因。第五节讨论了拟议的A3IC2功能模型，然后在第六节得出结论。

II 文献回顾

A. 指挥与控制

就本文而言，军事C2的定义是负责适当分配部队以实现军事目标的战区级职能。军事学说将其广泛定义为 "对所分配的部队行使权力和进行合法指挥的过程和手段"[1],[2],[15]。这有别于其他被描述为战术层面的C2系统，如单个车辆或小单位的C2。

军事C2与战略决策是密不可分的。它包括一个等级组织，指挥官的意图来自他们所保卫的国家战略目标，为下属的决策和行动提供方向[14]。C2的最高优先事项之一是保持对环境的态势感知，并以军事行动做出适当的响应（或不响应），以实现战略目标。C2不仅要有效地进行作战，而且还必须知道何时从非作战行动（OOTW）过渡到作战[16]，反之亦然。因此，军事C2的适当抽象（或模型）需要承认冲突的全部范围；从作战到非作战行动[15]。它必须考虑到C2系统所处的 "作战环境 "的动态复杂性；从战术到战略层面以及它在大战略层面产生的影响。简而言之，有效的C2不仅仅是能够赢得战斗，它还必须知道什么时候挑起战斗是一种相称的响应[2],[15],[16]。此外，它需要了解其行动对大战略层面的影响；也就是整个政府的目标。

C2，作为一个系统，在一个非线性和复杂的环境中运作。它被归类为 "社会技术"系统，是技术和 "社会 "或人类元素的混合体，它们相互作用，并与更广泛的复杂环境相互作用[17]。一个C2系统表现出动态的、突发的行为，有许多意外的或不可预知的后果。这不仅是因为这些系统依靠人类来理解复杂的环境并制定解决问题的计划，而且因为它也是一个技术系统，态势感知依赖于数字系统和传感器来传递信息，而这些信息可能无法准确地代表作战环境[9],[17],[10],[4]。C2系统必须完成的任务或目标完全取决于未预料到的现实世界的事件，如战争、环境灾难和其他杂项OTW。这发生在多个领域（物理的和非物理的），并且都是在分歧的作用下。从系统思维的角度来看，C2作战环境是真正 "超复杂"的[18],[16]。

因此，军事C2有一个非常困难的任务，即它必须在一个复杂的环境中做出具有重要意义的决策，并保证有几乎不可能预测或逆转的二阶和三阶战略效应[19],[4]。长期以来，军事战略家们一直理解这一点，并在传统上通过心理模型或启发式方法来管理，以指导如何理解和应对战争的复杂性。这些心智模式现在被固化在战略研究学科和现代军事理论中[4]。C2是在战争中取得战略成功的一个重要手段，它被定义为 "确定一种方法，使敌人的组织因无助或混乱而崩溃"[16]。与指导这一结果相关的心智模式（必然）是高度抽象的，反映了对复杂性的理解；战略与其说是一门科学，不如说是一种艺术。Clausewitz和他的 "分歧"概念，描述了在这种复杂性中操作的困难，它习惯于破坏所有精心策划的计划，导致了 "战争中一切都很简单，但最简单的事情却很困难 "的看法[20]。自Clausewitz以来，由于信息理论、人工智能、系统思维和控制论方面的重大进展，战略的启发式方法已经取得了进展。关于战争的心智模式继续从技术中发展，但战争的核心性质却没有发展。它在政治中的基础要求它是一种与人的因素密不可分的活动[4],[15]。将这些心智模式转化为指导人工智能的具体指标，是一项非同寻常的、可能不可行的任务。这些心智模型的工作原理是对背景、指挥官的意图以及一个决定可能产生的大战略后果的整体理解。

科学、技术和信息理论对战略和C2概念产生了重大影响[21]。John Boyd上校，作为控制论和战略的学者，在这两个学科的基础上，创造了战略研究领域中最有影响力的功能模型之一--观察（Observe）-调整（Orient）-决定（Decide）-行动（Act）（OODA）环。OODA环路是一个详细描述 "赢与输 "理论的模型，大致描述了一个人如何管理竞争环境和生存[21]。对于一个有效和可生存的C2，Boyd认为，一个系统必须能够比敌人更快地适应其环境。调整（Orient）的步骤代表了在观察、分析和心理模型的基础上做出 "正确的决定"，但如果双方对手的其他条件相同，谁能更快地循环到每个步骤，谁就能获胜[21]。因此，推动冲突的速度超过对手反应速度的C2系统，将造成'致命的不稳定'，从而取得胜利[4]。正是从OODA循环理论的发展中，系统思维C2文献继续研究什么是一个卓越的C2系统；这是一个结合了系统思维方法和战略研究的多学科领域[14],[19],[21]。文献中有一个广泛的共识，即战争的复杂性要求C2系统必须是动态的或敏捷的，允许人们既取得胜利又避免系统失败[8],[10],[11],[9],[21],[4]。

然而，尽管OODA环路作为一种输赢理论是合理的，但它并不是在C2系统中实施敏捷性的充分模型，因为它忽略了特定的功能，如 "指挥概念、规划、放行准则或系统延迟"，导致模型过度强调速度为目的[14],[9],[19]。为了将OODA环作为C2的一个更好的模型，Brehmer开发了动态OODA环（DOODA环）。Brehmer认为，需要具体的细节，如整个决策过程中的延迟，以使该模型在C2背景下具有足够的描述性[14]。因此，在图1中看到的DOODA循环允许指挥官和工作人员实际了解C2过程的每个功能。它通过明确每个C2功能，说明了为了提高敏捷性和决策性需要实现什么[14]。出于这个原因，DOODA循环模型将被用作本文后面的A3IC2功能模型的基础。

从上面的讨论中，有一个概念是明确的：C2及其性能的测量与系统运行的战略背景是不可分割的。C2系统内的动态变化不是在真空中发生的；C2系统的最终结果是控制的影响，或在指挥军事力量的超复杂环境中做出有效决定的能力，以便生存和获胜。如果一个高度复杂、高效、响应迅速的人工智能C2系统无法追踪作战环境的复杂性、产生的影响以及它们在大战略层面的后果，那么C2系统将无法在高强度战争的动荡下生存。

图1. 动态OODA环[14]

B. C2系统定义

在文献中，对C2系统类型的描述是有问题的，导致与敏捷性、适应性、稳健性和复原力的定义有很大的重叠，这取决于情况或背景[11],[22],[8]。然而，有两个广泛的基本生存方法被描述，所有C2系统类型至少有一个方面是相同的：

1）保持形式的力量（在不改变的情况下，在波动中生存的能力）。

2）改变形式以保持力量（通过改变在波动中能生存的能力）。

这两种生存方法都可以根据情况而有效；因此，一个有用的C2功能模型必须包括这两种方法。C2文献大致了解这一点，并试图在功能模型中结合各种定义来调和两种方法[11]。"敏捷C2"的概念将弹性和稳健性纳入其定义中，背离了人们对敏捷性的通常理解，即仅仅意味着改变形式的 "迅速"。Alberts将敏捷C2定义为 "成功影响、应对或利用环境变化的能力"[8]。这一定义有实现这一目的所需的六个方面[8],[23]：响应性、灵活性、适应性、多变性/稳健性、创新性和复原力/弹性。

所有这些要素的融合有望最大限度地减少与不利影响相关的事件的概率，并最大限度地增加提供机会的事件的概率。如果事件真的发生，这些要素也会努力使成本最小化或收益最大化[8]。需要强调的是，单一目标的优化并不等同于敏捷性；相反，它反映了响应能力高于灵活性和弹性的不平衡。当一个系统的优化依赖于单一目标时，它不一定是高效的，即使这个单一目标是预先确定的不同目标的加权和。然而，我们承认，优化是一个数学概念，可以被调整以实现任何目标。如果目的是平衡响应性、速度、灵活性和弹性，多目标优化是优化理论的一个分支，可以用数学方法处理这个问题，同时优化相互冲突的目标。

敏捷C2的目标是将不利影响最小化，将机会最大化，这与Nassim Taleb的 "凸"系统的想法相似；对波动的有益响应，也就是所谓的抗脆弱性[12]。敏捷性和抗脆弱性有很多相似之处。敏捷性和抗脆弱性都有一个共同的风险观，即既要减少黑天鹅事件（灾难性的、低概率的事件）的负面影响，又要避免在组织内低估其可能性的自满情绪[8],[12]。其他的相似之处还体现在所列举的组织如果要成为一个抗脆弱组织应该避免的特性，比如限制使用单目标优化、专业化、预测、标准化和微观管理[24],[12],[8]。

与敏捷C2一样，抗脆弱组织关注的是将行动自由（灵活性）最大化的策略和结构。它不鼓励优化、缺乏多样性、不容忍风险，关键是不切实际的简化现实模型[8], [24]。然而，抗脆弱性和敏捷C2之间的关键区别是 "为了学习和过度补偿的目的，有目的地在系统中实施诱导性的小压力 "或 "非单调性" [25],[26],[12]。这是抗脆弱系统和敏捷或弹性系统之间的关键变量。抗脆弱系统积极寻求在其自身系统内注入波动性，以暴露脆弱性。这两个概念之间的差异是互补的，它将被论证，当两者结合起来时，可以为人工智能C2系统产生一个强大的功能模型。

C. 抗脆弱性与C2

抗脆弱性是一种系统特性或特征，它不仅能使系统对突如其来的冲击和压力具有鲁棒性和弹性，而且还能从这些压力中学习，在下次遇到这些压力时改进自己[12],[27]。抗脆弱性是脆弱性的反面，因为稳健性和弹性的定义都不'意味着从冲击中获得力量'[16],[12]。Taleb指出，抗脆弱性系统'有一种机制，它通过利用而不是遭受随机事件、不可预测的冲击、压力和波动来不断自我再生'[12]。由此可见，"如果没有反馈和记忆的机制，抗脆弱性是不可能的"[27]。因此，为了使一个系统走向抗脆弱的系统动力学，它必须能够从对其系统的冲击中学习（反馈），并从这种记忆中改善其运作（定向）。必须强调的是，这种反馈可以是内部的，并且是自我产生的，使用内部设计的性能和效果的衡量标准，同时使用内部模拟的外部环境进行情景的角色扮演。作为一个概念，抗脆弱性有以下五个维度[12],[28],[25]：

1. 从冲击和伤害中学习的能力：系统有能力从它收到的反馈中储存其记忆和经验。

2）利用过度补偿进行系统改进：一旦收到反馈，系统就会自我改进，涵盖未来管理类似冲击的要求。

3. 冗余：由于过度补偿冲击的结果，系统将开发多层次的冗余机制。

4）凸性和选择性（"杠铃战略"）：该系统将以一种使潜在收益最大化但使潜在损失最小化的方式构建自己。换句话说，该系统将是稳健的，但准备运用收益函数。

5）小规模的实验：承担风险，以便在牺牲小故障的情况下获得显著的性能收益。对系统诱导小的压力源，以确保非单调性。

将敏捷系统与抗脆弱系统区分开来的三个特征是：注重过度补偿，有目的的诱发系统压力，以及来自波动的记忆/反馈。抗脆弱的系统会改进自己，不仅能够补偿未来类似的压力，而且能够补偿比所经历的更严酷的冲击[12]。因此，波动性是非常可取的，因为它允许系统收集信息，并通过从尽可能广泛的输入中学习来保护自己的未来。这就产生了对系统进行过度补偿适应所需的数据，以管理冲击。事实上，一个抗脆弱的系统将有目的地尝试 "风险管理的实验"，以创造过度补偿所需的波动性。Taleb明确指出，这包括来自黑天鹅的风险；那些具有高度不可能性和极端影响的事件[25],[28],[8]。黑天鹅对于抗脆弱系统来说具有很高的价值，因为它可以获得加强系统的稀有信息，只要它们最初是可以生存的[12]，因此，复原力和稳健性很重要。抗脆弱系统的设计是为了尽可能地抵御作为本体论现实的混沌，在复杂环境中无法消除或预测[28],[12]。

Alberts[8]讨论了敏捷性的概念模型，"环境空间"代表系统的性能水平，取决于各种外部和内部变化。从敏捷C2的角度来看，一个抗脆弱的系统会探索环境空间，以便从尽可能多的生成环境中了解尽可能多的 "可接受的性能区域"。波动性和反馈允许这种探索。有效地使用反馈/记忆，并通过波动性实验，以便过度补偿，从而使敏捷C2系统通过探索越来越多地了解其 "自我模型"，通过更多的 "实体可以识别和成功应对的各种情况 "来提高其敏捷性[8] 。此外，该系统对环境、可预期冲击的背景以及形成环境压力源的环境约束有了更好的理解。经验教训可以采取几种形式，如经过验证的作业环境模型、代表环境的人工智能数学函数，以及其他人类/机器产生的数据存储。这些信息将随着每次冲击产生的新信息而更新，使C2系统能够随着时间的推移而提高效力。

现在，我们应该清楚，抗脆弱系统并不排除敏捷性作为系统内的一个有利特征；抗脆弱是一个额外的特征--而不是一个替代品[12],[29]。在Taleb对抗脆弱的定义中，Taleb将敏捷性与脆弱性、复原力和抗脆弱从同一范围中分割出来。为了使A3IC2结构清晰，我们将继续这样做。在图2中看到的是敏捷性和抗脆弱性的覆盖范围。两者的定义分为 "从波动中生存的系统 "和 "系统为生存而进行改进的能力"。这很好地概括了上述系统动力学文献中的定义[26]。例如，如果没有系统恢复或适应的能力，就不可能有弹性，也不可能在受到冲击后恢复到正常水平的性能。不变性也是脆弱的，因为所有系统的功能都来自于无常性；没有变化，系统最终会失败[30]。敏捷性是抗脆弱性的助推器，因为对反馈的有效过度补偿需要一个敏捷的组织；反之亦然，敏捷的C2需要过度补偿来主动创新，并从操作环境的变化中建立复原力。

图2. 敏捷和抗脆弱范围[8],[12]。

与弹性和稳健的系统相比，敏捷性与抗脆弱性相结合的好处是对冲击的响应要好得多[22]。Taleb指出，脆弱性在数学上被定义为 "对有害压力的加速敏感性：这种反应被绘制成一条凹形曲线，在数学上最终导致随机事件带来的伤害多于收益"。一个脆弱的系统将在极端的波动下崩溃，因为它没有否定凹形响应的属性。由此可见，抗脆弱性的动力学产生了 "凸型响应，导致更多的利益而不是伤害"[12]。因此，一个有弹性或坚固的系统处于脆弱和抗脆弱之间的中间位置。一个稳健的或有弹性的系统既不会从波动中得到什么，也不会失去什么。抗脆弱性有一些元素，使它不仅能在冲击后恢复正常功能，而且能从压力源中学习，以便进行过度补偿。因此，要获得一个抗脆弱和敏捷的C2系统，需要具备表1中所列的以下要素。

从表一中可以看出，这种组合能够发挥两种方法的优势。最下面的三行是抗脆弱性要素，前三行是敏捷C2要素，而中间一行是两者的必需要素。寻求创新的解决方案以消除脆弱性和提高敏捷性是两者都需要的过度补偿。记忆/反馈、可选择性和对创新能力的补充，是将敏捷C2与A3IC2分开的新元素。一个C2系统如何实际发展这些元素，需要人工智能、混沌工程和具体组织战略的交集；这是下一节的主题。

表1. A3ic2系统的要素[8],[12],[26],[22] 。

III. 人工智能和抗脆弱的C2系统工程

在C2系统中实施抗脆弱性需要利用和积累有关系统性能的反馈；最容易实现的是将数据收集作为在系统中保留记忆和学习的永久方法。这允许创建抗脆弱的反馈回路，使其能够使用过度补偿[26],[22]。Jones [31] 将抗脆弱机器描述为一种能够适应意外环境的机器，因为它的脚本随着时间的推移在决策、采取行动和观察结果的过程中变得更加复杂。这种机器必须从它的环境中学习，并适应那些 "在设计时没有预想过的 "变化[31]。换句话说，要做到真正的抗脆弱，系统所面临的情景必须是新的，但也要熟悉到可以从以前的经验中概括或抽象出来，创造出新的知识。机器通过与环境或感知数据的互动，从其经验中更新其内部状态的这一过程被称为 "机器学习"（ML），是人工智能的一个分支。因此，这项技术是在系统内实现抗脆弱动态的基础[31]。

文献中对人工智能的定义还没有达成共识，但为了本文的目的，人工智能被定义为 "为计算机提供认知技能和能力的算法，用于感知和决策"[32]。建立人工智能系统的方法各不相同。传统的方法是通过 "专家系统 "或 "手工制作的知识"，即通过人工编码并咨询专家来创建算法[33],[34]。然而，由于模型是手工更新的，这些系统对于不断变化的环境来说通常是非常脆弱的。ML提供了一种更新系统知识的替代方法，可以从系统直接接收的数据中获得，也可以通过与环境的互动获得。先进的ML模型，如深度学习，依赖于大型数据集和专门的算法来学习结构化（表格）和非结构化（图片、文件）数据中的特定模式；允许创建一个系统的复杂数学表示/模型。这种模型可用于对新数据进行预测，或在以前未见过的情况下采取行动。由于从环境本身的观察中收集到的数据集的多维模式，人工智能模型在面对复杂的环境时可以表现得更加准确[33]。人工智能有望减少人类决策的许多限制，如注意力集中、有限的记忆、回忆和信息处理[35]。

ML方法试图在功能上接近空间内的高维拓扑结构[4]。数据源系统通过传感器提供拓扑结构，而ML算法试图通过训练学习这个拓扑结构，然后验证其性能（即准确性）。当一个新的数据点被提交给受过训练的人工智能时，它就会被放在这个相同的配置空间中，根据算法形成的近似值，它将对新的数据点进行预测。作为一个例子，图3是一个ML分类算法的低维结果。它有四个标签，代表对敌人当前行为的预测，每个标签都是由人工智能设计师根据以前对数据的理解而指定的。当收到一个新的数据点并在这个状态空间内进行评估时，该数据点可能被分配到最接近的群组。如果与数据点的欧几里得距离最接近红色集群，那么人工智能就会输出一个 "可能的攻击 "作为预测，可能会有一个从与红点的距离与其他集群的距离相比得出的可能性。

图3. 高度简化的状态空间与由ML聚类算法形成的拓扑结构

因此，人工智能是敏捷C2系统的一个有利工具，从根本上可以还原为形成这些适应性的复杂数学函数来模拟一个动态和变化环境的效用。有人认为，这些模型将为大多数C2任务提供比人类更高的精确度，并且尽管超复杂，也能提供快速和值得信赖的自动化[5],[1],[2]。通过精确和适应性的数学函数来取代OODA环路中的每个阶段，可以实现卓越的感知和学习，并延伸到快速和卓越的决策[3],[36],[4],[7],[6]。下面将讨论这样做所带来的风险。

A.脆弱性风险

人工智能伴随着新形式的风险，需要加以管理。对C2系统影响最大的现象是战争的爆发。如果错过了常规国家间冲突的爆发（一个非常罕见的事件），可能会导致灾难性的突然袭击。事实上，对手将积极寻求一种策略，对C2系统产生尽可能大的冲击[16]。在这种情况下产生的问题是，通过人工智能算法实现C2决策自动化的好处是否值得承担灾难性失败的风险？如果准备在人工智能预测有99%的信心，而1%的机会可能导致不可逆转的战略后果的情况下，自动做出提供致命武力（或不提供）的决定，那么C2的性能是否得到全面改善？对于C2来说，战略决策失误的后果可能是如此的极端，以至于会导致其自身的毁灭，这就需要一个抗脆弱的战略，作为对抗黑天鹅事件的必要条件。

99%置信度的人工智能预测之所以会导致失败，是因为在面对动态复杂系统时，人工智能会受到所谓的 "柏拉图式折叠 "的困扰。柏拉图式折叠描述了这样一种情况：复杂环境的模型 "拓扑结构 "或 "状态空间 "由于 "为了隐藏复杂性 "而省略细节，本质上是错误的，或者说是脆弱的[12],[29],[34],[4]。当复杂性被不明智地隐藏时，人工智能所操作的抽象水平比它应该操作的适当抽象水平更简单。其结果是人工智能状态空间中没有体现的突发现象，或者无法区分需要不同决策的不同环境。这些变量可能是隐藏的强化反馈回路，可能导致黑天鹅现象，往往会产生灾难性的影响[12],[13],[22],[37],[4]。这给C2操作环境中的自动决策带来了风险。更糟糕的是，即使人工智能模型正在从环境中学习，如果它不能 "跟上 "拓扑结构的变化，随着时间的推移发展出更多的隐藏变量，它也会变得很脆弱[29],[38]。忽视或低估这种不确定性影响的模型，作为他们试图模仿的复杂环境的本体事实，将产生越来越多的脆弱程度，与模型失败的后果一致[12],[28],[4]。

快速更新一个模型，以防止与人工智能对 "开放 "和复杂系统的理解有关的 "漂移"。Florio[38]认为，通过定期的训练更新和足够的独特数据进行训练，一个非常复杂的模型/函数可以随着时间的推移保持对非线性系统的接近。这种方法通常被称为 "ML管道 "或ML开发过程[33]，是一种循环技术，其中一个ML模型正在运行并预测环境，而另一个正在被训练。环境的变化只会导致新的数据供算法自我更新，改善C2系统的模型库，以便在其活动适应环境时加以利用。模型的更新和替换速度将对模型准确反映复杂环境的保真度产生相应的影响[38]。

然而，模型快速更新并不能解决决策型人工智能的柏拉图式折叠问题。一个ML模型可以快速更新一个持续不准确的模型，并且完全没有意识到数据的退化[4]。人工智能可以迅速形成一个C2系统，对它所训练的事件具有优化和卓越的决策，其代价是对尚未发生或被系统感知的事件具有脆弱性[4]。然而，如上所述，C2系统认为其最优先的正是这些尚未发生的罕见事件。

人工智能支持的C2的系统故障点是，由于作战环境的拓扑结构和表征拓扑结构之间的不匹配，人工智能模型做出的快速决定有助于控制的崩溃，导致无助或混乱[4],[16]。作为一个例子，Wallace[4]讨论了最近股票市场的 "闪电崩盘"（黑天鹅），认为它类似于C2系统中脆弱的人工智能应该产生的结果。这些崩溃的发生是由于自动化交易算法过于迅速而无法进行人工干预，其根本原因非常复杂，至今仍不为人知。对于C2来说，相当于两个具有高度自主的人工智能决策的对立军队，导致了高强度战争的闪电式崩溃；所有这些都来自于以毫秒为单位的稳定性丧失[4]。

B.C2SIM和AI

针对人工智能遗漏罕见与灾难性事件的风险，提议的解决方案是通过使用合成（人工构建）数据。合成数据是唯一现实的方法，使ML算法能够从C2系统高度关注的现象数据中进行训练，例如C2系统被设计为有效决策的未来常规高强度战争[39],[7],[5]。未来的战争没有数据，而过去的战争是否有用也是可以争论的。合成数据的生成过程分为三类[40]。

1）人工开发，通过手工建立的数据集进行策划。

2）自动调整真实输入，产生类似的输入，帮助算法学习更广泛的规则。

3）通过建模和模拟（M&S）以及仿真自动进行。

使用哪种程序完全取决于人工智能的目的和它试图进行预测的环境稀缺性。如果人工智能要取代指挥官的决策能力，那么极有可能需要将人工创建的来自情报的数据与战场模拟模型相结合，来训练一个人工智能系统。这种方法将C2SIM和人工智能等概念整合在一起，可能使用强化学习算法[5],[41]。

然而，这种方法仍然存在风险。创建一个高度详细的操作环境模型不仅很难验证，而且很可能产生欺骗性的结果，因为人工智能将缺乏在不确定性下做出有效决策所需的保真度[37],[5],[41]。

然而，这种方法仍然存在风险。创建一个高度详细的作战环境模型不仅很难验证，而且很可能产生欺骗性的结果，因为人工智能将缺乏在不确定性下做出有效决策所需的保真度[37],[5],[41]。Davis[37]将此描述为 "场景空间 "的减少，意味着人工智能被训练的选项或灵活性变得狭窄。一个在C2系统中为指挥官制定行动方案的人工智能系统，如果针对特定场景进行了优化，那么作为一个反应式系统，它在高度特定的场景空间中只会有可靠的表现。对模型内变量之间的因果关系或非因果关系的假设，将不可避免地导致脆弱性[37]。

另一方面，一个高度抽象的模型，为一个"战略层面"的推荐系统而忽略了作战环境的大部分细节，有其自身的问题。合成数据的使用将与创造它的军事文化密不可分。对敌人以及他们将如何进行下一场战争的假设，将被固化在人工智能所训练的数据中[4]。如果敌人决定 "改变游戏规则"，在战略层面采取人工智能从未接受过的不对称行动，任何新的敌人战略或战术都不会在发生之初就被准确预测[41]。相反，它们会被预测为完全不同的东西。在战略层面上，比如战区，与预测敌人行为相关的变量会有很长的统计 "尾巴"，而在人工智能模型中却没有体现[4]。这可能会产生严重的战略后果，导致系统不适合战争的 "深度不确定性 "或波动性[37],[41]。Zhang[41]指出，将人工智能'用于涉及战略决策的应用，比如那些模拟甚至没有物理学作为依托的应用，现实世界和模拟之间的对应关系可能非常小，以至于经过训练的算法实际上是无用的'。由此可见，人工智能要想保持有用，就必须从对应于C2函数的数据中进行训练，而C2函数是充分人为复杂的，而不是天生自然复杂的。显然，为了使人工智能的使用不成为脆弱的风险，需要在对人工智能的信任、预测失败的风险以及特定人工智能给C2功能带来的响应能力的好处之间取得平衡。

图4. 人工智能集成和增长的限制

与人工智能支持的C2系统相关的脆弱性风险，反映了上文图4中显示的增长限制的原型。决策性能通过复杂功能的自动化得到改善，从而提高了C2的响应能力。然而，人工智能整合到更复杂的功能（如决策），导致更多的风险被转移到人工智能模型的准确性和与操作环境相比的差异。这可能会导致低概率但高后果的灾难性事件的预测失败。人工智能取代的需求和判断来理解复杂环境的功能越多，系统就会变得越脆弱。黑天鹅事件在数学上是不可预测的，对系统也是有影响的。因此，C2系统暴露在重大冲击下的风险越大，它就越有可能最终遭受灾难性的失败[12],[13],[42],[22]。

IV. 从AI的脆弱性到抗脆弱性

将人工智能整合到敏捷C2系统而不增加脆弱性的方法将需要仔细考虑上文表一中讨论的抗脆弱性要素。具体来说，C2系统将需要确保对来自作战环境的冲击作出凸形响应。这可以通过两种方法实现：

1）将人工智能的功能分配到C2系统中，使灾难性故障的风险最小化，但使系统的收益最大化。

2）使用实验来发现系统的脆弱性，产生创新和混沌；这使得过度补偿和人工智能模型的不一致。

A. 功能分配

一个AI使能系统需要在其作为敏捷性工具与其存在的脆弱性风险（如果AI不能在复杂环境的极端波动下执行）之间取得平衡。人工智能并不适合所有的决策任务[43],[32],[36]。一个抗脆弱系统将需要特定的边界，将在战略/作战层面上将具有黑天鹅高风险的C2决策功能与其他可以自动化的低风险复杂C2功能分开。明确说明人工智能在C2系统中负责哪些任务，对于避免脆弱性和整体上有利于系统至关重要。

由于C2系统是社会技术性的，那些为C2功能分配使用人工智能的人需要确保对人的替换不会对系统的性能产生风险。Abbass[32]，讨论了在这样的系统中分配人工智能的几种方法。一种 "静态分配"，即在C2系统中赋予人工智能的功能并不改变，可能不适合动态环境。具体的C2功能的需求将根据情况发生变化，特别是考虑到战争中对响应能力的需求，这可能需要快速变换功能分配[36]。例如，针对来袭的大规模超音速导弹防御场景将更倾向于速度而不是战略环境。在这种情况下，什么都不做的后果是如此之大，以至于错误的风险可能值得AI完全控制。另一方面，批准超音速攻击的决定将需要比速度更多的决策背景。因此，一种适应性的方法，或自动分配逻辑（AAL）是必要的[32]。

在战略决策层面，关键事件逻辑最适合于评估脆弱性与自动化的好处。根据对响应能力的需求重要性，以及失败的后果有多高或多低，C2功能将需要有人类或AI控制的适应性逻辑。图5展示了一个与C2任务大类相关的潜在后果的例子，从感知到战区级决策。

图5. AI使能C2的脆弱性范围

对于专注于感知型人工智能的系统来说，风险较低，因为来自人类决策者的数据适用于额外的背景[36]。感知型人工智能很可能需要多个专门的算法模块来解析特定类别的数据，如视频资料、图片、文件和其他[33]。因此，这也是一个鲁棒的算法系统，如果其中一个算法模块不能感知关键信息，那么这个算法系统其他算法模块也能捕捉到此信息。当然，风险仍然存在，这将需要通过理解决策中的 "风险转移 "已经传递给人工智能系统的输入和感知能力来进行评估[32]。

然而，如上所述，人工智能决策与战争期间高失败风险相关联。失败的影响将取决于人工智能是支持战术层面、战役层面还是战略层面；与战略层面的单一失败相比，战术层面的单一失败后果较小；不过，人们必须考虑到从战术层面到战略层面可能产生连带效应。对于抗脆弱系统，Taleb[12]指出，人们应该避免依赖具有高度后果性输出的系统，因为许多较小的、后果性较小的系统是不太脆弱的。当然，即使战略层面的人工智能决策者的风险是通过人在环结构来管理的，由于建议依靠人工智能感知器，以及预测对人类决策者的额外影响，风险仍然存在。例如，如果C2系统使用受信任的非人类智能合作者（NIC）来推荐战略层面的决策，可能会导致军事指挥官在获得99%的人工智能预测的情况下增加风险。这是因为NIC会表现得像一个预测者，有证据表明，这可能会增加决策者的风险承担[12],[44],[45],[16]。

一旦确定了失败的后果，就需要为每个场景分配适应性人工智能。这是一个 "指挥概念 "的C2功能；在为特定场景分配适应性人工智能功能时，需要考虑指挥官的意图和国家的战略目标。这些场景可以通过传统的兵棋推演方法进行开发和测试，但也可以从创新和混沌生成的抗脆弱性过程中产生。适应性人工智能将需要持续测试脆弱性，以防止凹形响应；这是下一节的主题。

B. 创新和混沌的产生

为了将人工智能作为一种敏捷和抗脆弱的工具，反馈/记忆、小规模实验和过度补偿等元素需要在一个人工智能支持的C2系统结构中结合起来。这可以通过有目的地在系统中注入波动性来实现，并延伸到支持特定C2流程的人工智能功能。通过使用波动性，人工智能系统将发展出一个更广泛/抽象的决策空间，增加其对更多种类冲击的通用性。

对于合成数据的生成，可以将一致程度的波动和混沌应用于人工智能所训练的数据。例如，可以在人工智能系统上测试极端情况，而不仅仅是预期的极端情况。C2组织内的 "混沌小组 "可以尝试使用极端或极不可能的情况，来暴露人工智能模型的预测失败。通过暴露失败，人工智能开发团队可以确定失败发生的原因，探索人工智能采取什么行动会更好，然后尝试重新训练模型以增加其变异性，以处理未来类似的极端情况。因此，这个过程通过与外界复杂环境相比对自身的理解，加强了系统的能力[12]。这有可能也是由人工智能场景生成器实现的，主要目的是对开发导致人工智能C2系统失败的场景进行奖励。无论具体的方法是什么，目的是让系统的压力和失败允许C2系统内的创新能力和发现发生，从而导致过度补偿。

这些冲击不仅仅是对人工智能本身的要求，也是对C2系统整体的要求。应该寻求一种分层的方法，作为一种稳健性的形式[12]。这样做的一种方法可以在计算红队和混沌工程实践中找到。计算红队[46]提供了人工智能所需的计算构件，以设计压力源来挑战自己和它所处的环境，并发展新的模型和战术。类似地，混沌工程通过对计算机网络或系统中的特定元素注入压力或故意失败的实验来防止组织内部的脆弱性[30]。混沌工程的目的是确保C2 IT系统的所有功能的 "可用性"，尽管环境中存在波动。对抗脆弱C2的用处是显而易见的，因为其混沌工程实验允许产生作战环境效应，如网络攻击，作为极端波动的输入。C2信息技术和通信网络被视为一个单一的复杂系统，通过观察其在真实世界的输入或诱发故障后的行为，可以更好地理解它[30]。

将混沌工程、计算红队和人工智能结合起来，可以实现复杂的故障状态生成，以实现抗脆弱性，但C2系统要有能力从自我造成的压力中学习，以实现过度补偿，需要组织文化上的巨大变化。在图6中看到的是A3IC2系统的系统。在C2组织内建立这样一个系统，需要改变组织的心智模式、组织规划、C2结构，以及改变对人类操作人员的培训方式，以支持抗脆弱的C2系统。A3IC2应该只关注C2操作的系统；作为一个抗脆弱系统成功进行C2的过程。对于一个C2组织来说，作为一个社会技术系统，它需要采取一种整体的方法，结构、系统、流程和文化都具有抗脆弱的特性，以便在压力和冲击下生存[25]。

图6. 抗脆弱C2作为一个体系系统

V. 敏捷抗脆弱的指挥和控制（A3IC2）

通过将抗脆弱性概念与Boyd、Brehmer和Alberts[14]、[21]、[8]开发的功能C2模型相结合，可以开发出一个通过抗脆弱性动态提高C2系统有效性的新框架。这在下面的图7中可以看到，说明了图1中传统C2运行周期与A3IC2结构之间的区别。

图7描述了由Brehmer创建的相同的DOODA环路，并增加了对所实施的模型的积累的反馈。模型的建立作为系统的方法，在操作过程中从与复杂环境的互动中学习。从所做的决定、计划、感觉活动和军事行动的结果中得到的反馈的综合，都为AI模型/功能提供了背景。开发的模型取决于具体的C2系统。对于一个空中机动/后勤C2单位来说，模型将反映诸如优先权、飞机选择、选择的路线和货物验证细节等决定。对于一个人工智能C2推荐系统的COA开发，反馈将代表变量，如敌人的位置，蓝色的位置，单位的数量，以及许多其他。这些模型是在日常行动中通过与C2决策支持系统的互动和/或通过C2SIM建立的。

图7. 抗脆弱的动态OODA循环

如上所述，"混沌生成 "功能是迫使系统从反馈中学到的东西进行过度补偿的方法。它同时适用于社会技术系统中的人和机器。混沌生成是C2 "红队"，它有目的地给系统施加压力，以加强决策周期，提高敏捷性，减少脆弱性。对于人工智能支持的C2系统，混沌生成器包括基于先前经验的合成数据生成过程，但对其进行修改以加强系统。因此，人工智能将在具有超出先前经验的更多极端变量的任务中得到训练和改进；导致过度补偿。这些模型在性质上可能是极端的，并应尽可能多地覆盖可能性空间。如果环境发生重大变化，或出现黑天鹅，可能性空间只会增加，允许系统改进并产生进一步的模型。C2系统的波动性越大，产生的模型就越多，以进行补偿。

以前的讨论假定，模型和数据需要提前建立，并预期未来结果。最近的趋势是引入了形成、重新塑造和校准的模型。影子机器的概念[46]有一个专门的控制逻辑，随着背景的展开学习模型。然而，这些概念假设来自实际环境的实时数据输入，以持续测量偏差并进行相应的调整。这种方法仍然存在挑战。关于自我的数据可能比关于敌人的数据多出几个数量级。这种可供人工智能即时学习模型的数据不平衡，在人工智能界有其自身的挑战。

VI. 结论

将人工智能整合到C2中，只有通过对其效果的整体理解来实施，才能提高系统的性能。如果一个由人工智能支持的C2功能有可能导致它所保卫的国家战略目标无法实现，那么就需要认真考虑该人工智能的功效问题。当C2功能被分配给人工智能以避免脆弱性时，那么反馈和过度补偿的使用有可能促进对系统波动的凸形响应。使用有目的的混沌生成将有助于C2系统能够了解其自身的弱点，以便改进。使用A3IC2作为人工智能支持的C2战略，可以确保人工智能仍然是建立一个抗脆弱系统的工具。最大限度地减少灾难性失败的可能性，同时最大限度地利用系统的好处，这将有助于在极端动荡的战争中生存和制胜。

虽然本文的重点是人工智能所面临的风险，但当新形势展开时，人类指挥官仍将面临类似的问题，特别是当军事历史的教训可能阻碍他们对这些新形势的思考能力时。如果敌人依靠人工智能产生接近光速的效果，未来的冲突场景将更具挑战性。这就需要人类-人工智能的人机协作，利用各自的优势，过度补偿各自的弱点，以相关的速度产生效果。