万字长文！《在复杂作战场景中信任AI需要填补的两个差距》

用人类的话说，信任是挣来的。本文提出了一种基于人工智能的作战方案(COA)推荐算法(CRA)如何赢得人类信任的方法。它介绍了一个分为三个阶段九个步骤过程（NSP），其中前两个阶段填补了建立一个可信赖的CRA所必需的两个关键逻辑漏洞。最后一个阶段是部署一个可信的CRA。在解释其建议之外，还介绍了历史上的例子，以提供关于为什么需要赢得信任的论据，特别是在解决战斗的复杂性和对手的突然行动时。本文描述了关于突袭行动对过去战役影响的讨论，以及人工智能如何可能带来改变，但前提是信任程度很高。为了实现这一目标，NSP引入了被称为EVE的建模结构。EVEs是允许在所有三个阶段收集、整合和完善来自不同来源和形式的知识的关键。使用EVEs，CRA可以整合来自进行桌面讨论的兵棋专家以及在产品测试期间使用实际技术的作战测试工程师的知识。EVE允许CRA接受理论和实践相结合的培训，以提供更实用和准确的建议。

引言

人工智能（AI）的信任意味着什么？2020年10月，桑迪亚国家实验室（SNL）与国家领导人和行业专家举行了 "可信人工智能"圆桌会议。根据SNL的说法，"如果人工智能的输出可以用于关键决策，包括可能危及生命的情况，那么它就是可信赖的"（Sandia国家实验室，2021）。在2021年5月26日概述美国防部负责任人工智能计划的备忘录中，国防部副部长凯瑟琳-希克斯博士表示：随着国防部拥抱人工智能（AI），必须采取负责任的行为、程序和结果，以反映该部对其道德原则的承诺，包括保护隐私和公民自由。一个可信赖的生态系统不仅能增强军事能力，还能与终端用户、作战人员和美国公众建立信任。(Hicks, 2021)

可信人工智能有相当高的门槛需要通过。不仅在可能危及生命和任务的情况下必须信任人工智能，它还必须得到美国公众的信任。

对人工智能的信任，就像对人类关系的信任，需要时间来建立。人工智能必须首先在复杂、现实的合成战斗场景的多次迭代中证明自己，才能在实际冲突中得到信任。美国公众需要知道，在它被用于将他们的儿子、女儿、丈夫、妻子、父亲和母亲置于危险境地之前，它已经被彻底测试、评估和验证。人工智能的可靠表现也可以被认为是一个涉及危害的系统安全问题，会让美国感到尴尬（Nagy，2021）。

在复杂作战场景中，人工智能应被采用的程度与对该人工智能系统的信任程度成正比。换句话说，目标越大，对信任的要求就越高。对于更重要的决策，即可能关系到生命的决策，应该要求更高的信任度，但这也在很大程度上取决于决策者对使用人工智能的风险与回报的权衡。例如，寻求进入对手的决策周期的对手可能会利用人工智能，达到他或她确定的回报大于风险的程度。同样，寻求扰乱对手决策周期的对手可能希望增加其感知的风险，或选择不信任其人工智能系统。

有很多关于需要 "赢得信任"的说法，或者需要"在信任的基础上建立关系"，而提出潜在生死建议的人工智能系统不应例外。本文将提供一个九步骤的过程（NSP），描述一种创建值得信赖的COA推荐算法（CRA）方法，通过在各种功能角色中的可靠表现来证明。这种方法有助于确保决策者对COA建议充满信心，特别是当生命受到威胁或对手积极致力于制造不信任的时候。对突袭的预测和/或投入军事资源的建议会被信任吗？为了回答这个问题，国家战略计划提供了一个过程，使CRA能够： (差距1）通过桌面讨论的专业兵棋推演来学习战术和战略，以及（差距2）通过测试和评估、验证、确认/真实虚拟结构（TEVV/LVC）设施内的 "现场"作战测试，以更大的统计准确性来分析产品的性能限制和优势（由技术开发/获取产生）。本文将介绍为什么需要填补这些差距，以充分建立对CRA的信任，在复杂战斗场景中提供关键的建议。

兵棋中的CRA任务分配（差距1）

CRA需要从兵棋环境中开发，以利用移动到反移动的知识和可能性的 "宝库"，例如： (1)可以影响结果的人为因素，(2)改变战斗结果的意外/惊喜动作，(3)多域场景，联合和联盟部队被整合以实现共同目标（DSB，2015），以及(4)准确解释各种质量的情报/资源的能力。CRA需要学习如何解开战斗的复杂性，包括揭开和管理 "未知数"（DSB，2009），并仍然确定最佳战略/战术反应。揭开 "未知数"，也就是在战斗中的意外发生之前揭示它们，是具有挑战性的。就人工智能系统而言，在讨论事件-动词-事件（EVE）链和兵棋推演建模时，将对描述复杂的战斗场景中的 "未知数 "以及如何在事件发生前揭开或反击这些未知数进行审查。CRA必须收集移动到反移动的知识和可能性，并向兵棋推演专家学习，以便提供可以信赖的建议。

彼得-佩拉博士将兵棋推演定义为 "一种战争模型或模拟，其事件的顺序受到代表对立双方的玩家所做决定的交互影响，其运行不涉及实际军事力量的活动"（佩拉，1987）。佩拉接着说："兵棋推演的真正价值在于其独特的能力，即阐明战争中人的因素的影响。就其本质而言，兵棋推演试图探索的正是那些战役分析所忽视的混乱的、'无法量化的'问题。兵棋推演可以帮助参与者发现他们不知道自己不知道的东西，"（Perla，1987）。兵棋推演、演习、战役或行动分析都是建立人工智能信任的有用工具。然而，演习往往是昂贵的努力，有脚本的时间表，战役分析往往受分析框架的约束。只有兵棋推演 "允许双方不断调整战略和战术，以应对战役分析中看不到的发展结果和事件"（Perla, 1987）。只有随着时间的推移，与对立的蓝队和红队成员进行反复的兵棋推演，才能为未来的冲突提供洞察力。

CRA应该能够使用关于对方的不同程度的情报可靠性。基于自身技术的情报和性能知识，它应该显示战略和战术瓶颈、优势和劣势，以及提高自我恢复能力的方法，以确保从红方和蓝方的角度来看任务成功。此外，CRA应该能够对红方和蓝方的行动和反行动进行裁决。CRA的设计需要存储完整的兵棋推演，包括细节，然后随机地重演兵棋推演，收集统计结果进行分析。它还应该能够改变任何一个对手的情报可靠性水平，并通过附加分析显示趋势和变化。CRA需要在三个方面为蓝方、红方和白方玩家提供支持：

1.从蓝方角度运行兵棋： 它需要根据蓝方 "认为 "红方（和相关盟友）会做什么，从蓝方的角度（与相关盟友）来运行兵棋推演；但在游戏中使用红方的 "真实 "行动和意图。换句话说，这只是一个蓝方队友与它的蓝方队员一起体验，它对红方行动的预期如何。这是从蓝队友的角度进行的分析评估。CRA需要学习并与蓝方队员分享这些统计结果，关于如何从蓝方的角度更好地准备应对战斗中未预料到的、"出格 "的惊喜。

2.从红方的角度运行兵棋： CRA执行与上一步相同的任务，只是从一个红方的角度。这被认为是 "以忠实和严格的方式进行红方游戏"（Rielage, 2017）。CRA需要学习并与红方团队成员分享这些统计结果，关于如何从红方角度更好地准备战斗中未预料到的、"出格"的惊喜。

3.从白方角度运行兵棋：CRA需要对红队和蓝队的行动进行裁决。它需要模拟 "万一"的场景。这是从白方队员的角度进行分析评估，了解蓝队和红队的表现真相。CRA需要为蓝队提供逐步分析，说明情报和/或技术能力是如何被使用、歪曲、隐藏、甚至错过的，以及这些决定如何影响结果。CRA需要为蓝方和红方做这件事，在游戏的汇报中使用白方的视角来帮助白方队员。CRA的角色需要不断地从数以千计的看似不相关的数据中评估模式，以学习如何在向其蓝方和红方团队提出下一组兵棋推演的建议时，将未预料到的、"出乎意料"的意外影响降到最低。分析数以千计，甚至可能是数以百万计的数据点，应该是CRA执行的一项自然职能。这些类型的分析将由白方队员指导，以发现战略和战术瓶颈、优势和弱点，以及提高完成各种任务的系统的弹性。

CRA需要能够分析过去的兵棋推演，以支持基于情报的战术结构的比较，以及在评估期间提供选择。随着收集的数据越多，CRA就越能在NSP之后，逐段提供统计证据。然后，它可以利用这些证据向蓝队和红队提出如何更有效地实现其任务目标的建议。对于白方团队来说，它将实现裁决的自动化，节省战友们的时间，并允许对棋步进行更精确的统计分析。这将开始填补第一个空白，为红、蓝、白棋手提供价值，支持他们的目标和工作习惯。

将CRA整合到兵棋推演环境中的最后一个原因是复杂性。训练数据是否充分代表了涉及战斗复杂性的部署挑战（Nagy，2021）？如果不是，当作战部署期间经历了战斗复杂性时，如何信任COA建议？如果要赢得信任，那么CRA必须提出建议，在统计学上有很高的成功可能性，考虑到战斗复杂性的挑战。在复杂的战斗中，当影响生命、财产或关键目标损失的功能悬而未决时，在战斗中信任一个未经证实/缺乏经验的CRA，即使有人类的监督，似乎也是不合理的。然而，部署CRA的动机包括更快的反应时间，避免人员损失，如果训练得当，在行动或建议的细节上更精确。因此，问题变成了训练或将技术发展成一个值得信赖的CRA的细致过程。这种训练能够成功证明的唯一方法是在遵循建议的COA时有很高的成功率。

需要考虑的变量： 训练数据是否足以使CRA在面临复杂的战斗挑战时有可靠的表现？兵棋推演是否包括适当的复杂性？复杂性由四个要素组成，这些要素结合在一起会使事物变得复杂：适应性、相互依赖性、相互关联性和多样性。根据复杂性的科学定义，如果一个问题具有更多的这些特征，那么它就更加复杂（弗兰克，2015）。复杂性理论是指挥和控制理论：两者都涉及到广泛分布的众多代理的集合，单独行动，但仍然可以像一个单一的，甚至是有目的的实体（Schmitt, 2008）。在文献中，大多数时候，战斗复杂性的定义可以概括为有许多军事组件、系统和子系统为了一个单一的目的与同样复杂的敌方力量相互作用的情况。注意："复杂 "一词与难度有关。海军研究生院的邦尼-约翰逊博士和美国海军上尉斯考特-米勒（退役）以及其他研究科学家已经撰写论文并发表演讲，表示 "未知数 "或 "不确定性 "是复杂性的核心（约翰逊，2019；洛根，2009）。

作战测试中的CRA任务分配（差距2）

合乎逻辑的下一步是让CRA从战争桌面讨论转向对国防部（DoD）项目正在开发/获得的新技术产品进行实际的 "现场 "作战测试。重要的是，CRA要从第一手经验中了解产品能做什么和不能做什么。然后，这些数据可以用来完善兵棋推演中讨论的行动和反行动。这也确保了建议的准确性。当CRA根据兵棋专家的指导展示了可靠的COA时，CRA就需要使用 "实战 "数据来完善其知识。

为了支持TEVV/LVC设施，CRA还需要被设计来编写测试脚本，以更准确地识别国防部正在开发/获得的新技术产品的优势和劣势。通过分析国防部的新技术在受到测试脚本情景的挑战时的表现，CRA在支持作战测试工程师的同时，也为战争参与者提供了额外的价值。

为了获得价值，它必须提供一种自动化能力，以减少开发测试脚本的时间，并确保对需求的充分覆盖。它还必须分享通过兵棋推演获得的分析和统计知识，以支持作战测试工程师开发更多的战术和战略战斗的复杂测试脚本。然后，性能数据可以用于未来的兵棋推演，允许关于产品性能的任何桌面修正，从而为专业战争玩家增加额外的价值。由CRA制作的这些类型的作战测试脚本将满足两个目标：

(1)了解发展中的人工智能或任何新技术在性能、能力和弹性方面处理意外情况的能力如何，即意外。

(2) 允许CRA在作战测试和如何在专业兵棋推演环境中使用之间架起桥梁；这种附加价值在信任方面赢得了 "信用"。

同样，从常识的角度来看，在CRA被部署到作战环境之前，目标是为CRA提供遵循其创建的测试脚本方案的性能结果。这些性能结果将包括支持作战测试的工作技术，以及正在审查发布的产品。此外，重要的是CRA可以完善、修改、甚至纠正最初在兵棋推演中描述的假设/性能数据。它必须尽可能多地了解在战区使用的工作/部署技术的第一手资料。在对CRA的培训中包括这种实际性能知识是至关重要的，因为它可以在部署时提供值得信赖的建议。

缩小兵棋专家和作战测试工程师之间的差距是需要考虑的。专业的兵棋专家和作战测试人员如何分享知识？战术家从战略、战术和结果的角度说话。测试人员从要求、性能能力和统计结果的角度说话。作战测试脚本方案是否充分或正确地反映了兵棋专家的方案在游戏中如何使用这些技术/产品资产？遵循NSP的CRA可以确保这种一致性。本文将展示NSP如何通过使用EVE建模，使这两个领域保持一致，并使CRA产生有凝聚力和值得信赖的建议。

作战中突发事件的确定性

在1955年的一次新闻发布会上，德怀特-D-艾森豪威尔总统说："每一场战争都会让你感到惊讶，因为它的发生方式，以及它的执行方式"（艾森豪威尔图书馆，2022）.目前乌克兰的冲突似乎并没有挑战这一论断，即使有六十多年的新技术。在2018年战略与国际研究中心（CSIS）的一份题为《在大国冲突中避免应对突发事件》的报告中，马克-F-坎西安得出结论："突发事件是不可避免的"（Cancian, 2018），但也指出了四种不同类型的突发事件：战略、技术、理论和政治/外交。报告详细分析了每种类型的惊喜，明确指出并非所有的惊喜都是对手行动的结果。坎西恩认为，理论上的惊喜，"是以意想不到的方式使用已知的能力或技术，产生强大的新效果。理论上的惊喜也可以来自我们自己的作战概念的意外失败"（2018）。最近一个理论上的惊喜的例子是2020年亚美尼亚-阿塞拜疆的冲突，在这场冲突中，阿塞拜疆人使用武装无人机系统让亚美尼亚人措手不及，并使冲突的规模倾向于阿塞拜疆（加拿大军队，2021）。信任人工智能/机器学习（ML）要求这些系统不仅要考虑对手的惊喜，还要考虑当我们的系统、流程和程序意外地不能像宣传的那样工作。

从CSIS的文章中，Cancian将惊讶定义为 "当事件发生时，与受害者的预期相悖，对手获得了重大优势"（Cancian，2018）。对于一个旨在测量单个比特数据的人工智能系统来说，这个惊喜的定义太过宽泛。在人工智能方面，惊讶可能会导致对手获得重大优势，但惊讶的起源可能来自一个完全出乎意料的事件，或者是许多小惊讶的累积效应导致的偏差超出了人工智能算法的容忍度。本文并不讨论人工智能是否最终会从战争中消除意外因素，尽管在作者看来这不太可能。相反，本文分析了在未来的冲突中，在惊喜因素永远存在的情况下，人工智能需要被信任的原因。

意外是战争中固有的，被认为是不受约束的数据，这应该被认为是一个既定的事实。另一个既定的事实是，人工智能的战斗决策辅助工具在面对无限制的信息时已经被认为是 "灾难性的 "失败（Moses, 2007; Cooter, 2000）。这个问题在人工智能中是如何解决的呢？确保用于训练人工智能系统的数据集准确地反映出部署后的作战状态! 因此，需要在部署前进行广泛的兵棋推演和作战测试。填补这两个空白并不是可有可无的，它们是确保对CRA的信任所必需的。

关于CRA在作战部署前需要赢得信任的经验教训

历史上不乏美国出其不意的例子（DSB，2009），包括1973年埃及和叙利亚对以色列的攻击、1979年伊朗国王的倒台、1989年柏林墙的倒塌、2001年9月11日的恐怖袭击（Cancian，2018），以及乌克兰平民顽强抵御俄罗斯对其家园的攻击。

CRA能预测到1941年12月7日对珍珠港的袭击吗？如果是这样，领导层会相信这个预测吗？Cancian（2018）指出，对珍珠港的袭击是被预测到的，问题是对这些预测缺乏信任。日本人在明知有可能将美国卷入冲突的情况下还会发动攻击，这似乎是不可信的。更重要的是，领导层需要什么来改变现有的作战计划，投入资源，并花费所需的作战资金？鉴于珍珠港的战略位置和装货点（POL）物流的关键脆弱性，兵棋专家预测到这种可能性是非常合理的。Cancian（2018）还指出："美国已经打破了日本的外交密码（MAGIC），因此对日本的思维和意图有非同寻常的洞察力。然而，由于各种原因--对访问的严格控制、信息的空白、传输的延迟、对意义的混淆、对攻击可能发生的地方的成见--这个非凡的数据宝库并不足以提醒美国军队。" 如果兵棋专家可以预测这次攻击，那么人工智能决策辅助工具是否可以做出同样的预测？即使预测被认为是不可靠的，一个优化的、可信赖的弹性计划是否会有所作为（DSB，2009）？

看看二战中盟军的跳岛战役，有一些战役中，人工智能决策辅助工具会感到惊讶，而且可能没有效果。使用人工智能，战斗损失可能已经通过一个优化的、可信赖的弹性计划降到了最低。在最好的情况下，人工智能决策辅助工具会给战斗指挥官带来多年的兵棋推演和作战测试经验。在第二次世界大战中，这些经验是否可以用来提高盟军的作战效率，包括移动、反移动的建议，以及在发生突发事件时的弹性计划？

当需要进行重大变革时，可解释人工智能可能是不够的

用 "如果 "来审视从美国的角度看珍珠港袭击事件（谁输了这场战役），要考虑的一个问题是，跟随NSP的CRA是否会对结果产生影响？

• 如果CRA参与了第三舰队/珍珠港突袭所涉及的兵棋推演和技术测试会怎样？它是否能够确定防御准备、弹性计划和战术建议的变化？如果是这样，这些数据可以用来解释投入部队进行突袭的建议。使用这些数据，该建议是否会被采纳？

• 如果一些变化包括统计学上的可能性、最低限度的防御姿态以及对日本部队运动的模式识别，并通过CRA的培训过程进行预测，情况会如何？解释这些细节会对人们的准备有多大的帮助？

• 如果CRA从一遍又一遍的兵棋推演中，学会了如何尽量减少应对突袭的反应时间，可能是通过确保弹性作为防御准备，或者提供一个核心反击，将影响降到最低？有多少伤亡是可以避免的？然而，有了这些可以解释的数据，美国领导人会听吗？

• 如果CRA赢得了与珍珠港决策者的信任关系，也许在专业的兵棋推演活动中或在测试设施中，会怎么样？换句话说，CRA已经通过在兵棋推演中提供可靠的建议和/或提供分析来创造更有效地使用技术以实现任务结果，给其用户留下了深刻印象。考虑到这一经过验证的记录，用户在选择采纳其建议时是否会有区别？

关于这个 "如果 "场景的一个有趣的观点是，有大量关于珍珠港袭击的数据，但基地的干部们没有做出反应。压倒性的大量数据表明是一次突袭。有人审查了这些数据并得出结论，认为有可能发生突然袭击。但是，没有人相信积累的数据，足以支持军事资源的承诺。汲取的教训可能是，可解释的人工智能，即人类审查数据作为人工智能的等同物，可能是不够的。来自计算机的数据是否会产生影响？确切的答案是表现的历史!

我们的目标是与CRA建立信任关系。然而，信任是通过性能的可靠性赢得的，即产生高度成功的建议。它是通过成为一个可靠的作战推荐工具来赢得的，该工具已经证明了它有能力对抗未知-未知因素。它还可以通过来自作战测试的增值知识来赢得信任。在NSP之后，CRA可以发展并赢得积极的声誉! 考虑一下，如果没有这种经过验证的声誉，无论如何解释，人工智能算法的建议会被认为是可靠的，足以投入相当数量的军事资产？关键是，CRA需要根据业绩建立自己的声誉，以赢得信任!

如果这个结论是可信的，那么珍珠港事件的教训就很重要了。即使开发了完美的人工智能推荐系统，如果没有过去的信任历史，可解释的人工智能是不够的。即使人工智能用过去的历史/训练数据来解释它的建议，问题是，尽管建议可能是可解释的/历史的，但如果没有基于成熟的历史记录的信任，袭击珍珠港的结果可能会保持不变。如果没有信任的历史，军事指挥官就不可能根据机器的建议投入相当数量的军事资源。此外，一个由CRA推荐的弹性计划，即使它是完美的，也可能因为缺乏信任历史而遭受同样的命运。

从战败的日本人的角度来考虑中途岛战役。人工智能推荐算法会对这一结果产生影响吗？

日本人知道他们有优势的部队，更有经验的飞行员，更好的飞机，以及出其不意的因素。在一个计算胜算的兵棋推演中，日本人很可能确定他们几乎100%都会取得胜利。因此，日本人的 "未知数 "极大地影响了战斗的结果，也就是说，他们是错误的。他们没有考虑到美国人破解了他们的密码，这在技术能力上是一个惊喜。他们的计算没有考虑到许多海军飞行员的英勇和近乎自杀的努力--这是人为因素的意外。日本认为，重新武装和加油这些危险的行动任务，将始终以最谨慎的方式处理，这意味着需要时间，但他们偏向于速度，这又是一个人为因素的意外。再次，考虑 "如果 "清单，以及CRA是否能积累足够的知识来发现这些未知因素。如果是这样，这些建议会被信任吗？如果这些未知因素能够被发现，那么CRA关于应对这些意外事件的建议会被相信吗？同样，这是一个关系问题，通过表现的可靠性来赢得，也就是说，为了赢得信任，需要在兵棋推演中提出高比例的成功建议。然而，为了提出准确的建议，CRA还需要从第一手资料中了解产品/技术的性能优势和局限性，这些都是在作战测试中了解到的。

正如珍珠港袭击和中途岛战役所描述的那样，对情报和人为因素的解释在行动和反应、移动和反移动中起着重要作用，最终导致最终的结果。也许这些意外是无法预测的，但如果CRA提供了一个有效对抗意外影响的弹性计划呢？作为一个教训，情报和人为因素需要被纳入CRA的培训和对其可靠建议的评估中，既要有主动的反击和/或有效的弹性战略。

用信任来克服傲慢可能是最好的方法

如果不加以考虑，人的因素会成为兵棋推演中的一个意外因素。傲慢会对理性决策产生不利影响，而信任可能是唯一能够创造所需清晰度的人为因素。多少信任才足以克服傲慢？

当傲慢在决策中起作用时，有什么经验教训？这个问题是需要考虑的，因为美国被认为是一个 "超级大国"。傲慢会不会使CRA的建议更难接受？它是否提高了关于需要赢得多少信任来克服傲慢以使建议被接受的标准？傲慢会不会成为一个弱点，影响到战斗的结果？傲慢是对日本人即将袭击珍珠港的大量数据缺乏反应的主要因素吗？在中途岛战役的攻击中，日本人是否表现出傲慢？

傲慢的一个潜在例子是，从战败的亚美尼亚人的角度来解释纳戈尔诺-卡拉巴赫战争的战斗。这纯粹是关于态度的猜想，必须强调的是，这种讨论只是作为一个例子提供。这种解释可能是错误的，但将用来强调一个观点，即傲慢可能会使人更难相信提供CRA建议的AI系统。猜想是，亚美尼亚人认为对手比较弱，尽管情报显示边界两侧的能力正在增强，但对过去成功的自负压倒了他们的谨慎。其结果是，阿塞拜疆在战斗中实际上证明了自己是一个同行的对手。这对亚美尼亚人来说是一个惊喜。

亚美尼亚人的信心是建立在与阿塞拜疆的成功历史上的，被认为是 "已知的知识"（过去的历史）。阿塞拜疆的信心是基于增加的 "已知-未知"（关于改进的假设）。亚美尼亚人赢得了上一次战争，并认为他们会赢得下一次战争（假设）。他们对阿塞拜疆改进的作战能力没有准备（意外）。另一方面，阿塞拜疆从上次战争中吸取了教训。他们通过与获胜的俄罗斯技术和战略联系起来，增加了他们的技术和军事训练。因此，他们能够大大改变亚美尼亚人对战斗的预期结果。阿塞拜疆有俄罗斯的 "雪穹 "防御系统，而亚美尼亚没有预见到它的有效性。这是情报不足还是狂妄自大？这是一个技术惊喜因素。无人机系统（在好天气下使用）和坦克炮（在坏天气下使用）的有效性严重削弱了亚美尼亚的能力--此外，使用以色列的Harop（无人机系统）来提供监视和动力也被有效利用，这是阿塞拜疆的另一个技术惊喜。

通过兵棋推演和作战测试证明推荐性能而受到信任的CRA，是否有足够的声誉来克服任何潜在的亚美尼亚的傲慢？就像在美国的例子中，情报指向珍珠港的攻击，情报数据是不够的。就美国而言，其作为超级大国的地位是否会导致其军事领导层的傲慢，一个在兵棋推演和作战测试（例如，了解Snowdome或Harop的性能影响）方面有良好记录的CRA是否会产生影响？用于提出建议的数据的AI解释能力是否足够？需要多大的信任，以及可解释的数据，才能说服亚美尼亚人他们需要更好地准备？

避免设计一个CRA来赢得有限的信任

另一个需要考虑的人为因素是愿意为自己的信仰而死。这一点在自杀式爆炸中得到了体现。自杀式爆炸是一种出其不意的战术，在阿拉伯战争以及第二次世界大战期间都发生过。日本神风特攻队的轰炸是完全没有预料到的。从美国的角度来看，这能预料到吗？这种牺牲能被CRA预料到吗？第一个把飞机开进二战军舰的神风特攻队飞行员很可能会大大偏离预测的规范，对任何现代的人工智能系统来说都是一个惊喜。CRA能否应对神风特攻队的攻击？现代的人工智能系统有可能分析了武士道准则（Anya, 2013），认识到日本文化非常重视为荣誉而牺牲生命，并由此与未来神风特攻队袭击的可能性相关联。这个解决方案显然是有价值的，但它能赢得信任吗？

这种关联性依赖于人工智能程序员输入武士道代码来支持神风特攻队的预测。这种类型的训练数据被认为是有偏差的。挑战在于，数据集之间的差异性会很差，这意味着数据不会支持来自其他国家的其他文化关系，例如，自杀炸弹手遵循不同的宗教代码。作为一个教训，CRA培训必须避免这种偏见限制。本文不是建议排除这种方法，而是确保在处理对手的意外时，信任不依赖于它。如果是这样，那么CRA将被限制在与武士道准则相关的日本行动上。信任将在这个领域内获得，而不是其他领域。正如将要描述的那样，CRA需要成为一种通用的、结构化的方法来处理各种各样的对手的意外。如果CRA要被信任，这一点很重要，也就是说，偏见和差异应该被平衡。

作为一种替代的、通用的方法，神风特攻队的攻击可能没有被预料到，但CRA可能已经考虑了如何处理来自对手棋步和反手的特定类型的影响。这就是使用EVE的好处。CRA也可能在假设对手成功的基础上制定了一个弹性计划，这是EVE建模的另一个好处，从而将对手影响的影响降到最低。推荐的准备和弹性，特别是来自一个值得信赖的CRA，是对未知因素的成熟防御。关键是让CRA了解脆弱点，并为包括复原力在内的反击行动提出值得信赖的建议。使用EVE链对CRA进行培训，以了解脆弱性并推荐所需的反应。

EVE链对CRA开发的作用

作为训练过程的一部分，需要在兵棋推演和作战测试中收集数据。EVE链旨在复制任何类型的行动或行动交换（Nagy, 2021; Nagy, 2022）。在兵棋推演中，EVE可以根据世界状态来模拟移动和反移动。一个EVE段可以代表一个特定的移动、反移动的互动，将每个兵棋推演戏的互动捕捉到EVE段中，以便重复使用。在作战测试中，它可以表示被测产品需要执行的一系列动作，包括躲避和其他形式的反作用。EVE模型由事件、动词执行产生的状态变量变化组成。状态变量构成一个事件。动词修改了某些状态变量，从而产生了一个结果事件。以下是关于EVE模型的一些常用术语：

• 事件： 在一个特定的时间范围内的全部或部分世界状态--世界状态包括所有与游戏有关的使能者和影响者状态变量。在这个TAWC结构中，事件在游戏过程中不消耗时间。

• 动作：使能者和影响者可用的行动，改变世界状态并消耗游戏板上的时间。动词可以通过认证的元模型（Nagy，2022）、ML算法或多项式来表示功能。注意：EVE与元模型的结合允许轻量级、低处理能力的系统被战备、交战管理（BREM）原型项目证明（Nagy，2022）。

• 推动者： 一种资产，游戏中的一个 "部件"，具有特定的动词（或行动），当执行时可以影响世界状态，例如，使能动词可以对抗实体影响者行动的负面影响，并对抗障碍物；或者使能动词可以利用障碍物，支持任务成功。注意：根据不同的视角，使能者可以是蓝方或红方的游戏棋子。使能者只能由实体代表。

• 影响者： 有环境影响者和实体影响者之分。环境影响者包括可移动和不可移动的障碍物，以及上方和下方的天气状况。实体影响者有动词，当执行时可以对一个或多个使能者实体状态变量产生负面影响，以及以导致任务失败的方式对可移动的障碍物产生负面影响。注：根据不同的视角，影响者实体可以是蓝方或红方的游戏碎片。

兵棋推演和作战测试的训练数据，是可以收集和统计分析的EVE链。CRA把EVE链作为建议，即成功结果的高统计百分比，涉及基于输入状态变量（导致任务成功的事件）的行动（动词）。EVE段是根据从兵棋推演中收集的数据创建的，即动作和反动作，以及产品测试结果，即展示所需动作和反动作性能的测试脚本。从兵棋推演和作战测试中，EVE段、动作和反动作可以从同一个库中定义和完善，支持更大的模型准确性。更大的模型精度意味着有机会获得更大的建议精度。

重申一下，NSP或任何COA开发方法的一个必要成分是赢得足够的信任，这意味着包括对对手突发行动的反应在内的EVE链的成功比例极高，如果CRA预测了一个突发事件，用户将遵循它的建议，导致军事力量的承诺。然而，预测一个出乎意料的EVE链，即在兵棋推演或作战场景中从未被发现，是一个困难的挑战。

应该注意的是，专业兵棋推演不是学习预测未来，也不是验证友军或敌军的行动方案，即EVE链。正如Perla（1987）所说，它是关于 "照亮 "和 "探索"。对于CRA的学习过程，兵棋推演提供了对因果关系的 "照亮 "和 "探索"。它提供了因果分析的媒介，支持EVE序列的发展。这些EVE序列导致结果，基于兵棋推演的结果。当这些序列被统计分析时，那么结果可以与成功的可能性相关联。如果基本的因果分析可以从兵棋推演中学习，那么CRA在扮演所有三种颜色的团队时，可以比通过与自己的比赛发展更多的统计数据和EVE片段。正是这种EVE片段的积累，将支持COA准备好应对意外（Nagy, 2022）。

CRA旨在根据人类游戏或自我游戏期间积累的模式匹配的EVE片段来统计预测结果。它跟踪EVE序列和片段的行动，作为一种模式匹配方法。通过模式匹配EVE片段，可以产生一个结果的统计预测。例如，一个人（1）每天在同一时间醒来，（2）煮咖啡，（3）穿上职业装，（4）上车，（5）去上班。这被注意到75次，25次是这个人去加油。如果提供前四项，关于上班或加油的统计数字就会很明显。但是这个结果会被相信吗？

如果四个行动中的一个在输入中被遗漏了，会怎么样呢？CRA将如何回应一个结果的建议？一个给定的状态被用来确定一个行动，但是当这个状态不准确时，CRA所面临的挑战是如何仍然可靠地执行。这是一个常见的 "垃圾进，垃圾出 "问题，被认为是预测的贝叶斯方法（Adamski，2019）。NSP要求CRA的设计要使用ML泛化来处理这个问题。一个惊喜是当这个人从朋友那里得到一程。也许汽车在商店里。CRA如何处理这个惊喜？

从EVE链的重点来看，未知-未知事件有两部分：

(1）第一部分是确定 "什么"（事件中的一个或多个状态变量）将受到影响，从而阻止Verb（或行动）的执行，例如，炸毁燃料库以阻止飞机加油，或摧毁跑道以阻止飞机起飞。每个变量可以代表1表示可用，或0表示不可用。这被称为二进制EVE链分析。对方希望创造零，从而阻止任何行动。二元EVE链分析中的一个零就能影响任务的成功。

(2) 第二部分是预测对手将 "如何 "导致事件（一个或多个状态变量）受到影响，设置为零，例如，炸毁仓库或摧毁跑道的过程。是自杀式炸弹袭击者，还是精心布置的炸弹，还是完全没有预料到的事情？

从EVE链的重点来看，有两种应对措施来反击攻击：

(1)第一部分是确定对手的 "如何"，然后采取适当的反击措施（用EVE链序列），以确保状态变量保持一个，从而确保EVE链/序列可以继续实现任务成功。

(2) 第二部分涉及创建一个应急的EVE链/序列，考虑到计数器无效，意味着状态变量要设置为零。而EVE链必须表现出对影响的弹性，即维持任务成功结果的替代Verb。

在一个EVE链中，可能有成千上万的状态变量。CRA通过从兵棋推演和作战测试中学习的过程，有时间来 "压缩 "可能成为目标的数千种状态变量。它可以评估哪些状态变量具有最高的影响、最佳的反击措施和复原计划。它还可以评估哪些变量受到的攻击最少但影响最大，从而分析和分享不太可能但有影响的漏洞点。请注意，CRA可能无法预测变量如何被攻击，但可以根据影响和反击策略（包括弹性计划）来预测可能性。

对于与人工智能系统相关的EVE链，战斗的复杂性被定义为可由一系列事件描述的情况，即EVE链，由对立的参与者之间的行动引起，其结果可由归类为以下的因素显著影响： (1）"已知-已知"（事实），（2）"已知-未知"（假设）（3）"未知-未知"（无数据）和（4）"未知-未知"（意外；Nagy, 2021）。

• "已知-未知"（事实）--参与者依赖作为 "事实 "来赢得交战的因素；这些可以包括自己参与者的ISR和C2技术能力、地理空间、时间态势感知、互操作性、EW效果、人的技能、战术行动和战略利弊。这些是来自于从兵棋推演和作战测试中收集的数据的EVE链。

• "已知-未知"（假设）--每个参与者需要 "假设 "有关战斗条件的变化（事实）的因素，这些因素可以包括第三方的参与、天气预报、IO、ISR和C2的有效性、动能和非动能的有效性、对手的攻击面和相关的脆弱性、各方的英雄主义和主动性、对手的优先事项以及克服人造和自然障碍的难度。这些都是根据从兵棋推演和作战测试中收集的数据在EVE链中假设的变化。

• "未知数"（没有数据）--导致参与者 "没有数据 "的因素，有时是决策关键信息；这些因素可能包括人为错误、传感器故障和通信问题。这些是EVE链中缺失的状态变量。

• "未知-未知"（意外）--在参与过程中会让参与者 "吃惊 "的因素；这些因素包括未预见的技术和前三类中未预见到的任何东西。这些是在任何兵棋推演或作战测试中都没有发现的EVE链。国家战略计划将描述如何利用归纳法解决这些EVE链（国家战略计划方法的第9阶段，第三阶段）。

在一场复杂的战斗中，意外是肯定的，当这些意外是未知的时候，你如何为算法提供训练数据，即EVE序列，以处理意外？考虑到CRA是如何通过包括未知因素，即非绑定数据的程度的兵棋推演和产品测试来支持这一需求的。这就是这两个缺口需要被填补的原因。这也是CRA必须与自己博弈，即自我博弈的原因，以积累来自各种移动和反移动的EVE片段。当一个最不可能被攻击但对任务成功影响最大的状态变量仍然被翻转时，CRA也可以确定一个弹性计划，即另一组EVE段。足够的自我发挥能否减少无约束的数据问题，也就是突发事件的数量？这需要确定，但从兵棋推演中收集数据确实有帮助。

即使 "惊奇 "是必然的，我们相信通过兵棋推演的努力可以减少惊奇的数量，从而减少非约束问题的机会。这也是CRA必须通过捕捉那些EVE环节来向战争者学习的另一个重要原因。在1960年对美国海军战争学院（USNWC）的一次演讲中，海军上将尼米兹说："与日本的战争已经在这里（USNWC）的游戏室里被许多人以不同的方式重演了，以至于战争期间发生的任何事情都不令人惊讶--除了战争结束时的神风特攻队战术，绝对没有；我们没有想象过这些"（尼米兹, 1965）。在战时的十多年里，海军战争学院的兵棋专家对与日本的潜在冲突的各个方面进行了战争模拟，并确定了几乎所有的突发事件，但与日本的战争仍然带来了惊喜。

"赢得信任"的挑战将始终涉及到让CRA准备好处理无约束的数据问题的能力，即对手在交战中可能揭开的惊喜。从兵棋推演中收集数据在最大限度地减少这些意外方面发挥着必要的作用，从而减少非约束问题。如果意外，如神风特攻队的攻击，确实发生了，CRA需要准备提供弹性的解决方案和反击的解决方案，两者都由EVE链代表。

应该始终有一个担忧，即意外情况可能会导致数据输入超出该算法的变化限制。为了解决这个问题，必须有一种方法来确保对这些无限制的解决方案进行监督（Miller, 2021），并确保CRA准备好提供弹性建议，作为一种替代。护栏和闸门是人工智能算法的成熟方法。根据其固有的定义，无界数据意味着对人工智能模型的性能/行为的信心不能被预测，因此不能被信任。为了代表一个现实的运行训练数据集，需要考虑部署环境的复杂性；必须立即进行弹性规划。同样，CRA试图通过其兵棋推演和产品测试来解决这些考虑。鉴于惊喜是必然的，因此不受约束的数据是必然的，包括弹性的兵棋推演和作战测试是CRA赢得信任的必要成分。从这两个环境中，可以收集EVE片段，并训练CRA重新构思以满足任务挑战的变化。训练的过程就是NSP。

NSP在开发可信CRA中的作用

NSP是基于使用EVE来连接每个阶段描述的学习过程的所有部分，使用一个共同的模型。图1中的细节显示了三个阶段中每个阶段的EVE的积累情况。这就是如何确保CRAs做出值得信赖的建议，使决策者在生命垂危、需要投入大量军事资源时能够充满信心。使用EVES，这三个阶段通过九个阶段连接起来。在图1所示的所有三个阶段，CRA的结果是创建战术或作战计划。按照NSP三个阶段的九个阶段，可以创建一个值得信赖的CRA。使用EVE建模的数据收集在这些兵棋推演和测试领域之间架起了知识的桥梁，创造和完善改进的建议，为CRA的部署做准备。作为使用EVE的NSP的一个必要结果，战争者和作战测试者从增加的自动化和统计分析中受益。这促使用户继续在他们的领域中使用CRA，为所有参与者建立一个增值的方法。

同样重要的是要注意，NSP涉及到赢得信任的培训过程。第一阶段的步骤1可以与CRA核心开发同时进行。当第一阶段和CRA核心发展完成后，就可以进行第二阶段和后续阶段。CRA必须使用EVE链或与世界状态变量相关的类似建模结构完成其核心开发。NSP是以使用EVE链为基础的。Bruce Nagy在SPIE国防和商业传感会议上发表的论文中提供了一个使用EVE链的CRA核心设计的例子（Nagy, 2022）。

第一阶段的兵棋推演

战争模式的重点是支持专业战争玩家。这个过程涉及到利用游戏中使用的资产和技术的验证性能能力从专业战争者那里收集数据。在这一阶段，CRA作为一个战役分析工具，作为红、蓝、白三队的战役团队成员，支持专业战役机构更好地分析和理解各种战役场景中的情报质量、战略和战术结果的影响。本阶段内有七个步骤。第一阶段的前三个步骤见表1。

步骤1的重点是开发在世界棋盘游戏中移动和跟踪游戏棋子，即资产的算法。它还包括为兵棋推演的用户自动进行各种裁决程序。这是一个先决阶段，必须提前进行，重点是开发CRA在游戏过程中使用的辅助算法，同时也要支持兵棋推演者的自动化需求。尽管步骤1被列在兵棋推演阶段，但它也必须包括将用于支持TEVV/LVC设施的统计自动化工具。此外，这个阶段建立了所有需要的背景信息，以告知EVE结构中的动词和事件。例如，如果动词是移动，并且涉及到飞机实体，步骤1捕捉到所有的性能参数。换句话说，游戏中的棋子和移动都是自动化的，用于兵棋推演活动。

步骤2决定了游戏棋盘最初是如何设置的，其最终目标是什么。它收集用户数据，确定他们认为的各种任务的开始状态和结束状态（来自指挥官的意图）。它为兵棋推演设定了舞台，包括世界范围内资产的安置，它们的准备状态，以及需要完成的目标。步骤2抓住了各种任务，包括蓝队和红队的任务。这种 "当前 "到 "最终目标 "的状态也可以在游戏开始前 "实时 "输入。关于初始/第一个事件的世界状态和相关的状态变量，以及最后/最终事件的数据输入可以是手动的，也可以是自动的，即当任务结束时，世界状态需要 "看起来像 "什么。这个最终/最后事件支持指挥官的指导，转化为世界状态变量。注意，当状态变量根据行动发生变化时，这代表了EVE链（Nagy，2022）。如果没有充分定义开始和结束状态，就不可能开发出可信的CRA。在这个阶段，性能边界也被定义，提供了一个与游戏板有关的景观。

步骤3和步骤4涉及使用这两个前阶段运行CRA，步骤1用于自动游戏棋子的移动，步骤2用于游戏棋子的放置。如果CRA要从每个团队的角度最佳地确定最佳的行动和反行动，这是必要的。请记住，CRA承担了所有参与对局的团队色彩。

步骤3是让CRA为红队和蓝队以及他们的盟友制定一个最佳战略和战术，以实现第二阶段定义的最终目标状态。这个阶段是一个理想的世界，对手和环境的影响因素都不存在。它指出，如果棋盘上没有对手的棋子或可以克服的障碍，那么什么才是实现结果，即最终状态的最佳动作。这可能会产生许多解决方案，可以根据在什么是任务成功方面定义的团队优先级进行分析。从这一分析中，CRA选择 "最佳 "候选方案，在没有对立/反对实体的情况下，用他们的运动领域路线来实现任务的成功。障碍可能涉及，但仅限于那些无法改变的障碍物，即不可移动的景观。

步骤4是让CRA制定一个最佳战略和战术，以便在可移动和可移动的景观、游戏板内的对手力量时实现最终目标状态。它的重点是让CRA在蓝军和红军之间进行各种场景模拟。它试图选择最佳的游戏棋子候选人和他们的移动路线，以便在有对手/对手实体试图阻挠行动的情况下实现任务成功。CRA现在有能力 "穿越 "环境/障碍物，如果这有利于用户的最终状态目标和优先事项。

步骤5是重复步骤2、步骤3和步骤4，但针对对手。请记住，每个团队只拥有有限的知识，基于对其他玩家的情报质量。换句话说，蓝队（有盟友）和红队（有盟友）都要重复这些阶段，以确定他们对对方的最佳策略，而不知道其他玩家能力的 "真相"。与步骤4和5相关的细节显示在表2中。通过完成步骤4和步骤5，确定了每个对立队伍的最佳候选棋子或组合，以便在非理想的环境中，即对立/敌对实体以及在可移动/可管理和不可移动/不可管理的环境条件和障碍物中发挥。

步骤6涉及让CRA执行兵棋推演所涉及的裁决过程。这意味着 "白方"在完全了解红蓝双方的情况下进行兵棋推演。他们的战术和战略是基于对兵棋推演构架内的情报来源的感知和解释。CRA使用关于每一方的能力和意图的 "真相 "来评估每一方在实现任务成功方面的实际结果，鉴于每一方战术和战略的现实。然后，它可以运行包括性能和情报质量变化的 "假设 "情景，EVE段逐一找到每一方的最佳结果。在博弈论中，这就是找到纯策略纳什均衡（PSNE）或混合策略纳什均衡（MSNE）。这些 "如果 "解决方案有助于帕累托分析图上的各个点，即第9段中描述的四方形准备矩阵。

步骤7将步骤4和步骤5的原始结果与步骤6的修改、步骤4的真相和步骤5的真相进行比较，将基于情报的对对手的感知与对手能力的实际真相进行比较。在这种比较中包括 "如果 "的结果。这个过程是通过每个连锁序列，逐段EVE运行，并跟踪在二元EVE段内有多少次试图将每个状态变量翻转为零。考虑到兵棋推演的趋势，最高的数字成为最可能的漏洞候选者，最低的数字则是最小的。这个阶段可以在后台执行/运行，或者在任何兵棋推演之前，只要第一阶段和第二阶段已经完成。

表3中显示了步骤6和步骤7。这些阶段成为所有参与人员、用户和CRA的重要学习过程，以确定如何最佳地处理未知因素，特别是那些没有被翻转的位子以及为什么没有被翻转。是否有办法创建一个战略或战术，以确保假设的错误对任务结果的影响最小？这就是CRA的设计目的，也是不同于其他算法的地方。从兵棋推演、裁决的角度来看，该解决方案可用于兵棋推演分析和裁决，确定如何和何时进行裁决，并提供未知-未知挑战。

第二阶段的T&E

第二阶段完成后，第二阶段开始了CRA赢得信任的演变。T&E阶段的重点是支持TEVV/LVC设施。该过程涉及使用测试期间使用的资产和技术的验证性能能力，从测试技术产品和系统中提炼数据。在这个阶段，CRA作为测试分析工具执行，是对其在第一阶段开发的兵棋推演能力的修改。在步骤8阶段，根据表4，CRA被设计为创建严格的测试脚本，同时完善EVE部分，以更好地代表 "现实的 "性能能力、结果和限制。在这个阶段中只有一个阶段。

CRA现在已经准备好进行最后的升级，成为一个推荐算法，以生成名义和压力水平的测试脚本。这是一个来自兵棋推演EVE部分的完善和验证过程。使用TEVV/LVC设施，EVE段代表了复杂的环境，与实时系统或六自由度系统相连。CRA算法将根据环境中代表的所有产品的性能进行调整。

在开发测试脚本和积累知识的同时，必须对CRA进行设计，通过对状态变量的逐一调查，收集在兵棋推演中受到攻击最少但影响最大且未被发现的状态变量。如果发现，这被认为是一种范式的转变，即未知-未知，以支持战争者。

为了支持其作战测试人员，CRA需要提供三种类型的测试脚本。每个测试脚本可以有子脚本，确定在哪里改变测试条件和场景，以支持三种类型的测试。这三种类型的测试是 (1)名义性能，(2)产品在攻击下的性能和有效反击的演示，以及(3)产品在攻击下的性能，没有有效反击，因此需要审查产品的弹性来检查产品的局限性。所有的数据都被收集起来，并与战友们分享。

在这一点上，第一阶段和第二阶段是同时执行的。只有在兵棋专家和测试工程师都同意之后，CRA才会被允许进入第三阶段。

第三阶段作战模式

作战模式的重点是部署CRA，以支持需要做出战术和战斗管理决策的实地资产。CRA的学习过程继续涉及到利用资产和技术的实时数据进行作战演习的数据完善。CRA是前两个阶段的发展。CRA现在被设计为提供值得信赖的建议，同时确保对手产生的突发问题对任务结果的影响最小。在这个阶段中有一个阶段。

如表4所述，第9阶段代表最后的CRA开发阶段，并逐渐进入实战支持，即CRA被部署。从以前的阶段来看，EVE部分已经被开发和完善，现在CRA在需要时可以使用。在第一阶段，分析了与EVE段选择相关的情报质量的理解。此外，还创建了支持复杂环境的EVE分部。这导致了对兵棋推演复杂性和EVE解决方案的验证，这些解决方案具有统计学意义，意味着任务影响对每个解决方案都是独特的。还应该注意的是，由于EVE分部是由专业战争玩家使用从真实游戏中获得的经过验证的技术性能数据开发的，因此EVE分部复制了 "实际 "技术/资产能力。在第二阶段，对被测产品的性能能力或在测试环境中的性能能力进行下一级的验证，以支持对EVE片段的 "第一手 "完善，确保它们代表 "现实性"。随着复杂性和现实性的验证，以及CRA对决策的情报质量影响的理解，CRA现在已经准备好以具有统计意义的建议的形式发展战备、交战和管理支持。

使用帕累托图分析方法，图2，CRA确定了一个单一的EVE树解决方案，再次使用先前训练的AI/ML算法组合EVE段，支持尽可能多的绿色区域的点变化。

帕累托前线是一组非支配性的解决方案，如果没有任何目标可以在不牺牲至少一个其他目标的情况下得到改善，则被选为最优。另一方面，一个解决方案x被称为被另一个解决方案x所支配，当且仅当x在所有目标方面与x同样好或更好。

绿色区域是根据蒙特卡洛模拟的任务成功概率的用户阈值来定义的。这是考虑到更多影响者行动的最佳解决方案。代表帕累托图绿色区域内这些点组的EVE树是被推荐的，以尽量减少影响者变化和EVE树弱点的影响。提供的建议有两种类型：

• 建议类型1. 名义上的EVE树解决方案，包括绿色区域中尽可能多的点。

• 建议类型2。弹性的EVE树解决方案，支持承受状态变量翻转为零的能力，但仍支持成功的任务。这种有弹性的EVE解决方案也必须能够包括尽可能多的绿色区域的点。这第二种类型假设发生了未知--未知数，因为是惊喜，所以成功地翻转了一下。该建议因为其解决方案的弹性而确保持续成功。

提供 "为什么 "是为了支持可解释的人工智能，不仅仅是在因果关系中，还有这些因果关系是如何引起统计结果的，正如在前几个阶段收集的那样。结果（画出的点）是已知的兵棋推演结果，具有智能的变化，描述了红军在做什么（状态变量翻转）、如何做（EVE树）以及蓝军被攻击时的能力。阈值，从帕累托图上的一个颜色区域到下一个颜色区域，是由使用离散相关方法计算的值决定的。绿色区域表示该值在裁决时被认为是一个成功的任务结果，即高于被认为是成功的任务的阈值。黄色区域表示与无法解决的阈值有关的成功和失败的巨大变化，因此有不确定的结果。右边黄色区域的上部表示偏向于红军的成功可能性。左边黄色区域的下方表示偏向于蓝方部队成功的可能性。

如前所述，"进攻 "行动可以包括EVE树中描述的防御战术（Nagy，2021；Nagy，2022），而防御行动可以包括进攻战术，同样在相应的EVE树中描述。考虑一下机器学习系统是如何泛化的。CRA吸收了训练数据的实例（图上的点），通过反馈，学习如何正确判断输入的含义。其结果是，CRA被设计成能够处理与原始训练数据不同的变化，并且仍然能够确定其含义。

"对我有好处"（WIFM）的人为因素

如果用户要参与使用CRA，那么对于兵棋专家和作战测试工程师来说，需要有显著的投资回报，否则他们为什么会有动力去改变或做不同的事情？

为了支持专业战争人员的动机，我们的目标是使他们现有的工具套件自动化。这意味着移动和反移动可以更容易地被输入和分析，并具有明显更高的统计精度。同样，由于CRA下面的NSP可以详细地重复整个兵棋推演，使用EVE连锁事件逐个行动，它可以为 "如果 "分析播放统计变化。它可以按EVE部分确定信心因素，这意味着可以仔细检查移动和反移动，甚至分析情报的质量水平如何影响战略和战术。通过其自动化，CRA可以减少建立和实施兵棋推演的时间，更多关注内容，更少关注管理。它可以创建一个本体，让战争参与者更容易分享看法和联合行动。

为了支持作战测试工程师的积极性，CRA在NSP之后，可以实现与更有效的分析和测试相关的近期和长期目标。它可以支持2021年人工智能国家安全委员会最终报告中定义的近期目标，为受限的测试场景提供自动决策支持，这些测试场景面临着创建 "现实的 "战斗交战测试脚本和真实/模拟的自主系统环境的挑战，包括有人和无人的团队合作。CRA可以通过提供一个具有成本效益的、通用的模拟环境，来使现有的TEVV/LVC设施标准化。它将对被测产品的优势和劣势进行更准确的分析，支持复原力，并提供可统计解释的测试脚本情景。

作为2021年人工智能国家安全委员会最终报告中定义的长期目标，CRA最终将能够测试一个自主系统，或一个自主系统的系统，设计成在有人和无人的组队行动中动态地学习和适应。CRA将提供实时决策支持和行动方案建议以及自动生成的脚本。这将使TEVV/LVC设施能够准确地复制需要开放世界模拟的合成环境，以充分测试执行广泛的联合和联盟强化任务所需的适应性自主平台。

结论

本文建议，CRA要想获得人类用户的信任，在作战部署之前，必须在设计上填补其训练和发展过程中的两个差距：

(1) 战术差距(1)： CRA必须学会如何在涉及复杂战斗场景的兵棋推演中提供成功的建议，这些战斗场景包括对方部队未曾预料到的、"出乎意料 "的惊喜，或者甚至在情报质量不佳或无法从自己的资产中获得准确状态时也是如此。

(2)作战测试的差距(2)： CRA必须学会如何创建测试脚本，通过提供需求覆盖来支持VVTE/LVC设施，但也要创建测试，以帮助分析使用复杂的战斗场景的性能，其中包括对方部队意料之外的、"开箱即用 "的惊喜，或者甚至在遇到情报质量差或从自己的资产接收准确状态的能力。

如果这两个具体的差距被概括为人工智能发展的基础，它将是： (1) 让人工智能从主题专家（SME）那里学习，在那里它的学习可以被不断地测试/验证，从而证明性能；(2) 让人工智能参与 "真正的 "技术，从第一手经验中学习系统能做什么和不能做什么，在那里它的学习可以被不断地测试/验证，从而证明性能。使用这个原型的最后一个关键方面是确保任何参与人工智能培训的人都能得到价值，也就是说，他或她的WIFM因素在这个过程中也被填补。

这些都是与关键学习差距有关的关键方面（DSB, 2009），在任何CRA部署之前都必须填补这些差距，以确保赢得信任。这些关键差距由NSP使用EVE链来解决，而且必须被填补，以使CRA为作战部署期间的 "现实 "经验做好充分准备。在这个训练过程中，CRA必须在最坏的情况下向兵棋专家和作战测试工程师展示所学的知识，如上所述。

训练差距(1)和(2)都表明，需要与兵棋推演和作战测试工程师合作，制作战斗场景，以帮助预测意外情况，并在训练数据中设计出最佳反应。这种训练必须包括对手突袭成功时的弹性计划。当不必要的生命或财产损失处于危险之中时，人的监督对CRA来说仍然是必要的，但通过在设计CRA时填补这两个空白，将通过可靠的性能赢得信任，显示出处理战斗情况的规模和复杂性的能力。

在NSP之后，CRA的设计是为了激励三类客户继续使用AI产品。对于专业的兵棋推演，CRA将艰苦的评估过程的一部分自动化，并提供改进的分析结果，这包括因果因素。它可以独特地支持兵棋推演者，根据每个对立面收到的情报，对兵棋推演的红方和蓝方进行三种分析，而白色知道 "真相"。CRA将能够重演整个兵棋推演，对战略和战术进行统计分析，显示瓶颈、优势和弱点，以及提高复原力的需要。它可以改变情报，再次模拟整个兵棋推演，并显示假设、趋势和变化。人工智能系统可以学习并分享这些统计结果，关于如何从蓝方的角度更好地准备战斗中未预料到的、"出乎意料 "的惊喜。

对于测试人员来说，这个由NSP创建的CRA提供了测试线程，使评估人员能够考虑在预期的和未预期的、但可能的情况下对某一特定技术的所有可能使用。它可以分享通过兵棋推演获得的分析和统计知识，以支持作战测试工程师开发更多战术和战略上 "现实 "的测试脚本。CRA将提供一种自动化能力，以减少开发测试脚本的时间和精力，并确保对需求的充分覆盖。

对于操作人员来说，CRA成为一个值得信赖的工具，能够自动生成和比较可行的COA，并使用EVE的因果关系、可解释因素。当有限的情报可用时，它可以提供可以最小化红方效应的COA。此外，CRA可以推断红方的意图并识别可能的未知数，这可以减少蓝方可能面临的战术意外的数量。

CRA，按照九个步骤的方法，有能力提供关于红方可能做什么的新想法，大大增加了蓝方规划者和决策者对未来可能结果的心理模型。此外，EVE链的建模和EVE段的相关回忆能够非常迅速地重新规划，并产生思考和实现行动复原力的新方法。解释一项建议或行动不同于发展一种信任关系，即该建议或行动将实现预期的结果。本文的结论是，如果希望在复杂的战斗场景中尽量减少人类的参与（例如，提高反应时间或避免人类损失），那么人工智能必须能够处理意外情况。这意味着人工智能必须接受训练以处理意外情况。

同样，NSP的基础是在作战部署之前，通过与CRA的关系实现信任。这种通过与作战人员和测试人员的可靠表现来赢得信任的能力填补了这两个空白。此外，在兵棋推演和作战测试期间，需要引入与状态变量相关的意外/惊喜，这将提高美国武装部队的准备和克服能力，从而减少死亡、作战成本和升级。(DSB 2015)通过使用EVE链的三个阶段包含九个部分，将理论和实际相结合，它提出了通过COA建议来改变未来冲突的结果的潜力，这些建议可以最佳地应对对手的意外、出乎意料的惊喜，并处理复杂的场景。