《评估人工智能和辅助自动化指挥与控制决策辅助工具以提高任务效率的分析框架》

美国陆军对人工智能和辅助自动化（AI/AA）技术在战场上的应用有着浓厚的兴趣，以帮助整理、分类和澄清多种态势和传感器数据流，为指挥官提供清晰、准确的作战画面，从而做出快速、适当的决策。本文提供了一种将作战模拟输出数据整合到分析评估框架中的方法。该框架有助于评估AI/AA决策辅助系统在指挥和控制任务中的有效性。我们的方法通过AI/AA增强营的实际操作演示，该营被分配清理战场的一个区域。结果表明，具有AI/AA优势的模拟场景导致了更高的预期任务有效性得分。

引言

美国陆军目前正在开发将人工智能和辅助自动化（AI/AA）技术融入作战空间的决策辅助系统。据美国陆军机动中心称，在决策辅助系统等人工智能/辅助自动化系统的协助下，士兵的作战效率可提高10倍（Aliotta，2022年）。决策辅助工具旨在协助指挥官在作战场景中减少决策时间，同时提高决策质量和任务效率（Shaneman, George, & Busart, 2022）；这些工具有助于整理作战数据流，协助指挥官进行战场感知，帮助他们做出明智的实时决策。与使用AI/AA决策辅助工具相关的一个问题是，陆军目前缺乏一个有效的框架来评估工具在作战环境中的使用情况。因此，在本文中，我们将介绍我们对分析框架的研究、设计和开发，并结合建模和仿真来评估AI/AA决策辅助工具在指挥和控制任务中的有效性。

作为分析框架开发的一部分，我们进行了广泛的文献综述，并与30多个利益相关者进行了利益相关者分析，这些利益相关者在人工智能/AA、决策辅助、指挥与控制、建模与仿真等领域具有丰富的知识。根据他们对上述主题的熟悉程度，我们将这些利益相关者分为若干焦点小组。我们与每个小组举行了虚拟焦点小组会议，收集反馈意见，并将其用于推动我们的发现、结论和建议（FCR）。同时，我们还开发了一个逼真的战场小故事和场景。利用该场景和我们的FCR输出，我们与美国陆军DEVCOM分析中心（DAC）合作开发了一个功能层次结构，通过建模和仿真来测量目标。我们将假设的战斗场景转移到 "一个半自动化部队"（OneSAF）中，该模拟软件利用计算机生成部队，提供部分或完全自动化的实体和行为模型，旨在支持陆军战备（PEOSTRI, 2023）。使用分析层次过程，我们征询了评估决策者的偏好，计算了功能层次中目标的权重，并创建了一个电子表格模型，该模型结合了OneSAF的输出数据，并提供了量化的价值评分。通过A-B测试，我们收集了基线模拟和模拟AI/AA效果的得分。我们比较了A情景和B情景的结果，并评估了AI/AA对模拟中友军任务有效性的影响。

文献综述

分析评估框架可针对多标准决策问题对定量和/或定性数据进行评估。定性框架，如卡诺模型（Violante & Vezzetti, 2017）、法式问答（Hordyk & Carruthers, 2018）和定性空间管理（Pascoe, Bustamante, Wilcox, & Gibbs, 2009），主要用于利益相关者的投入和头脑风暴（Srivastava & Thomson, 2009），不需要密集的计算或劳动。定量评估框架以数据为导向，提供一种数学方法，通过衡量性能和有效性来确定系统的功能。分析层次过程（AHP）适用于我们的问题，因为它使用层次设计和成对的决策者偏好比较，通过比较权重提供定性和定量分析（Saaty，1987）。虽然AHP已被广泛应用，但据我们所知，该方法尚未被用于评估人工智能/自动分析决策辅助工具，也未与A-B测试相结合进行评估。

指挥与控制（C2）系统用于提供更详细、更准确、更通用的战场作战画面，以实现有效决策；这些C2系统主要用于提高态势感知（SA）。研究表明，使用数字化信息显示方法的指挥官比使用无线电通信收集信息的指挥官显示出更高水平的态势感知（McGuinness和Ebbage，2002年）。AI/AA与C2的集成所带来的价值可以比作战斗视频游戏中的 "作弊器"：它提供了关于敌方如何行动的信息优势，并帮助友军避免代价高昂的后果（McKeon，2022）。对C2系统和SA的研究有助于推动本文描述的小故事和场景的发展。

建模与仿真（M&S）是对系统或过程的简化表示，使我们能够通过仿真进行预测或了解其行为。M&S生成的数据允许人们根据特定场景做出决策和预测（TechTarget，2017）。这使得陆军能够从已经经历过的作战场景和陆军预计未来将面临的作战场景中生成并得出结论。模拟有助于推动陆军的能力评估。测试和评估通常与评估同时进行，包括分析模型以学习、改进和得出结论，同时评估风险。军队中使用了许多不同的M&S工具。例如，"步兵战士模拟"（IWARS）是一种战斗模拟，主要针对个人和小单位部队，用于评估作战效能（USMA, 2023）。高级仿真、集成和建模框架（AFSIM）是一种多领域M&S仿真框架，侧重于分析、实验和战争游戏（West & Birkmire, 2020）。在我们的项目范围内，"一支半自动化部队"（OneSAF）被用于模拟我们所创建的战斗情况，以模拟在战场上拥有人工智能/自动机优势的效果。

如前所述，人工智能/AA辅助决策的目标是提高决策的质量和速度。人工智能可用于不同的场景，并以多种方式为战场指挥官和战士提供支持。例如，人工智能/AA辅助决策系统可以帮助空中和地面作战的战士更好地 "分析环境 "和 "探测和分析目标"（Adams, 2001）。人工智能/自动机辅助决策系统可以帮助减少人为错误，在战场上创造信息和决策优势（Cobb, Jalaian, Bastian, & Russell, 2021）。这些由AI/AA辅助决策系统获得的信息分流优势指导了我们的作战小故事和M&S场景开发。

本文方法

行动示意图和场景开发

在我们的作战小故事中，第1营被分配到一个小村庄，直到指定的前进路线。营情报官罗伊上尉（BN S2）使用AI/AA辅助决策系统（即助手）准备情报态势模板（SITTEMP），该系统可快速收集和整合积累的红色情报和公开来源情报衍生的态势数据。然后，它跟随琼斯少校和史密斯上尉，即营行动指挥员（BN S3）和S3助理（AS3），使用AI/AA辅助决策系统制定机动行动方案（COA），以评估 "假设 "情景、她根据选定的机动方案开发指定的利益区域（NAI），然后在其内部资产和上层资源之间协调足够的情报、监视和侦察（ISR）覆盖范围。假设时间为2030年，双方均不使用核武器或采取对对方构成生存威胁的行动，天气条件对蓝军和红军的影响相同，时间为秋季，天气温暖潮湿。

利益相关者分析和功能层次开发

作为解决方案框架背景研究的一部分，我们与32位民用和军用利益相关者进行了接触，他们都是AI/AA及其对决策和仿真建模的贡献方面的专家。我们进行的利益相关者分析过程如下： 1）定义和识别利益相关者；2）定义焦点小组；3）将利益相关者分配到焦点小组；4）为每个焦点小组制定具体问题；5）联系利益相关者并安排焦点小组会议；6）进行焦点小组会议；7）综合并分析利益相关者的反馈；以及8）制定FCR矩阵。我们利用FCR矩阵的结果来绘制功能层次图，其中包括从模拟场景中生成/收集的目标、衡量标准和度量。然后根据这些目标、措施和指标对任务集的重要性进行排序。这为使用层次分析法（如下所述）奠定了基础。

层次分析法和A-B测试

AHP是托马斯-萨蒂（Thomas Saaty）于1987年提出的一种方法，它利用专家判断得出的一系列成对比较，将功能层次结构中的每个功能和子功能放入一个优先级表中。然后通过有形数据或专家定性意见对各种属性进行排序。如表1所示，这些排序被置于1-9的范围内。在赋予每个属性1-9的权重后，再赋予标准和次级标准权重，以显示其相对重要性（Saaty，1987）。