加拿大国防研究和发展部《AI/ML在支持混合军事行动中情报和目标定位方面的优势和挑战》，Benefits and Challenges of AI/ML in Support of Intelligence and Targeting in Hybrid Military Operations

摘要：

在快节奏的军事战术环境中，情报、监视和侦察(ISR)和目标定位要求正确的ISR和有效资源配置，以满足任务需求。考虑到任务的竞争性、资源的可用性、复杂性和约束的多样性，需要自动化和优化来为运作者提供合适的决策支持，以获得最佳的收集/火力计划，并提高速度和准确性。对ISR资源和影响的全面规划和协调的响应能力。此外，支持人工智能的目标识别以及态势理解，需要人工智能技术的组合以及对所有作战领域的考虑/协调，以充分支持决策者。

在本文中，一方面针对优化的收集计划/任务和武器目标分配提出了新颖的决策支持解决方案，另一方面针对目标分类/识别和多模态数据融合提出了 AI/ML 技术。在混合战争和多域作战的背景下，相关挑战得到了强调和暴露。

1.0 引言

人工智能包含一组技术，包括基于知识的系统、机器学习、计算智能、多智能体系统和自然语言处理，用于在复杂网络中的推理、学习、计划和行动方面模仿/超越人类-物理环境。人工智能 (AI) 和机器学习 (ML) 在过去十年的爆炸式增长主要是由于深度学习算法的结合、用于训练的大型数据集的可用性以及计算能力的提高和硬件设备的进步。通过使用深度学习，人工智能/机器学习已经在两个主要领域展示了显著的成果，即来自图像/视频、文本和声学等数据源的模式识别，以及寻找最佳解决方案的决策，特别是：

• 用于从图像或多感知数据、异常检测、生活模式等进行模式识别（例如对象、事件/活动的检测与识别）的机器学习方法，以及用于开源/社交媒体的信息提取、文本分析的自然语言处理;

• 使用强化学习和其他人工智能方法（例如进化算法）寻找支持决策（例如资源分配、路径规划）的最佳解决方案。

军事作战环境正在演变并变得更加复杂，涉及多个领域和参与者以及加速的节奏，这需要在军事过程的各个级别（规划、态势感知、决策支持）提供先进的自动化支持。在大型物理空间以及几个新兴领域（即网络、空间和信息）中进行管理。因此，现代作战越来越需要跨多领域的集体和协调行动，即传统的海陆空作战物理领域与信息、空间、网络空间、经济和社会领域，通过规划涉及一组异质的合作团队，在多个领域内和跨多个领域协调和传递动力学和非动力学效应。

AI/ML 越来越多地用于各种军事领域并支持各种流程，例如情报、监视和侦察 (ISR)、指挥和控制（观察/定向/决策/行动 - OODA 循环）或目标（例如查找、修复、跟踪、目标、参与、评估 - F2T2EA 流程）。特别是，AI/ML 技术为从异构来源收集 ISR 数据提供高级自动化支持，在目标检测/识别、多感知数据融合和基于物理的分析方面，支持 PED（过程、利用、传播）过程用于情报生产和态势理解以及动态战斗管理和响应的多模态传感器和人力资源。这些数据驱动和知识密集型的复杂过程，要求混合人工智能方法利用机器/深度学习、知识表示、逻辑/符号推理，并结合其他方法，进行低级到高级信息处理（情境理解、更高级别的融合）以及决策支持。在这种情况下，用于数据处理和决策支持的人工智能解决方案必须灵活，并能适应动态环境，从而实现集成的“传感器-决策者-行动”解决方案和适当的人机协作。

更准确地说，在我们的研究中，ISR 和目标流程受益于 AI 技术，可优化资源规划和各种多域资源的任务（即支持 ISR 的收集器/传感器任务，以及支持目标的效应器任务）。此外，支持人工智能的传感器能​​够在战术边缘进行目标检测和跟踪，并随着时间的推移在更高级别（使用适当的计算架构，例如雾/云计算）补充多传感器数据融合和数据分析。

虽然常规战争侧重于物理传感器/效应器和动力学效应以达到任务目标、混合和多域作战，但考虑其他领域，例如空间、网络和信息环境，在这些领域，人工智能/机器学习在谨慎管理时也具有巨大潜力，并实现与传统战争的协同运行。

在本文中，一方面提出了用于优化收集计划/任务和武器目标分配的新型决策支持解决方案，另一方面分别介绍了用于目标分类/识别和多模态数据融合的 AI/ML 技术。相关挑战在混合战、常规战、非常规战和网络战混合战的背景下得到突出和暴露。

本文的结构如下。在接下来的部分中，我们将介绍利用 AI/ML 技术支持 ISR 和定位的研究工作，在知识表示和推理方面支持资源任务匹配，多目标优化以搜索最佳集合/效应解决方案。此外，还介绍了用于自动目标识别的基于 AI/ML 的分类和融合技术，以支持增强的态势感知和目标定位。然后，我们描述了AI/ML 技术的优势和挑战，为后续扩展到多域和混合作战，以及人工智能操作性和军事环境中的用户接受度。

2.0 负责智能和定位的传感器和效应器

快节奏军事战术环境中的情报、监视和侦察 (ISR) 以及联合火力作战，需要适当的传感器和效应器分配来满足任务需求。鉴于高度紧张的任务和资源，以及在各种约束（成本、风险或通信）下的多个目标，需要自动化和优化来为作战员提供合适的决策支持，以便制定最佳收集/火力计划。

针对 ISR 和目标的最佳军事资源管理，即为 ISR 资源收集计划/任务或武器目标分配寻找最佳解决方案，可以利用多种 AI/ML 技术。这包括基于知识的、本体驱动的传感器/武器推理——可以适应任何资源类型（动能和非动能）的目标匹配，以及使用遗传算法或强化学习与模拟相结合的多目标优化，用于最佳传感器/效应器规划、任务分配和调度。

为此，正在开发用于传感器和效应器任务的新颖解决方案和决策辅助原型，向作战人员推荐用于支持 ISR 和目标任务的最佳收集器/效应器。图 1 展示了将传感器和效应器管理与战场空间管理联系起来的整体框架。左侧的 “ISR” 管理 ISR资源，通过全面 ISR 资源可见性 (TIAV) 原型优化自动化收集，而通过全面火力资源可见性 (TFAV) 原型支持联合火力，利用建模和仿真工具，两者都实现资源-目标匹配（传感器/武器-目标配对）和优化。

图1：连接传感器、效应器和C2

我们提出的解决方案利用了各种技术，包括基于知识、本体驱动的传感器/武器推理——可以适应任何资源类型（动能和非动能）的目标匹配，以及使用遗传算法的多目标优化，以及模拟接近最优的传感器/效应器规划、任务分配和调度。下面介绍了问题、匹配和优化构建块以及自动化解决方案。 [1] 中提供了有关统一的总体 ISR 和火力资源可见性 (TIFAV) 框架的更多详细信息。

2.1 问题与框架

在 ISR 方面，给定一组加权的收集要求/任务请求，基本的收集任务分配问题包括将收集资源或代理（例如有人/无人自主系统）分配给任务，以在预定的时间范围内优化单个或多个目标（例如收集价值、服务水平、不确定性降低、能源消耗、成本）。问题输入和/或特征包括一组收集资源和支持资源（例如基站）、一些收集任务目标和一组约束。约束与任务、操作、收集器、支持资源、通信（间歇性联系、临时网络）、容量（能量、存储、带宽）、时间方面（任务时间窗口、设置、截止日期、工作周期）、资源/信息/通信-有界推理、行程和成本等相关。收集任务需求来自指挥官关键信息需求和先验态势知识（例如战场情报准备、ISR 图片）的优先情报需求。

同样，为了支持联合火力，目标是选择和确定目标优先级并匹配对它们的适当响应，以达到预期效应的过程，同时考虑到作战要求和能力范围[2]。在这两种情况下，问题是确定可行的资源-目标匹配（配对）并推荐考虑时间范围内的目标和约束的最佳解决方案。工作流程如下：

• 将所考虑的目标和战术任务（例如跟踪 ISR 任务或中和目标任务）、地形、天气和任务相关信息以及收集器/效应器域作为输入可用资源的模型和知识库。

• 资源-目标匹配应用，一系列过滤器来确定匹配资源（可行选项）；

• 这些匹配资源被考虑用于优化输入；

• 优化和模拟引擎为移动资源生成路径规划；生成收集（resp. Fire）机会，并考虑多目标函数值的情况下生成收集（resp. Fire）计划，并模拟和可视化计划。

图 2：通用资源-目标匹配、模拟和优化框架

2.2 资源-目标匹配

匹配过程通过考虑各种维度（称为多维过滤）（例如适用性、可达性、任务的时间和天气）的一系列分析来确定可以满足所需 ISR任务的资源（移动或固定） 、及时性、地形和对手的脆弱性，以便产生可行的收集/行动机会。

匹配过程使用基于知识的推理方法，它利用全面的 ISR 领域本体和相关知识库 [3]，从 SAM 项目 [4] 和相关领域模型中扩展 ISR 本体。此外，TFAV 配对对应物利用了表征效应器（武器、弹药等）的域模型。

首先，资源必须具有合适的传感能力来收集任务的相关数据（例如检测、分类、识别和跟踪）。这可以通过图像传感器的国家图像可解释性评定量表 (NIIRS) 反映出来。可达性分析确定目标是否在平台/传感器的操作范围内，考虑平台移动到可以为请求提供服务的位置能力。及时性过滤器确定可以提供时间信息的收集器，即根据指定的最新时间信息收集和报告观察值。根据平台特性评估适当的路径计划和收集时间，以满足任务时效性。地形数据和高程确定采集器是否对目标有全部/部分视线。此外，一天中的时间和天气条件会影响平台/传感器的性能，在识别合适的资源时会考虑到这一点。最后，对抗性风险分析会过滤掉在达到目标区域的过程中可能受到对抗性能力影响的平台，因此被视为不适合该任务。

同样，效应器-目标匹配过程利用了丰富的效应器模型和相关的知识库。首先，资源必须具有适当的效应能力来处理目标任务（例如摧毁、压制、中和）。这是通过效应器使用过滤器实现的。可达性分析验证目标是否在效应器的操作范围内。及时性过滤器确定可以为任务提供所需效应的效应器。根据平台特性评估合适的路径规划和关联效应时间要求，以满足任务时效性。地形数据和高程分析确定效应器是否可以与目标接触。最后，参与可行性分析筛选出合适的平台，其性能或行为可以满足任务时间、火控措施以及环境约束要求，并在向目标区域或执行期间呈现最小/可接受的性能下降或面临对抗能力的风险。

除了源自专家领域知识和自动推理的知识模型外，使用代表性平台/传感器/效应器模型和地形数据的模拟支持匹配过程，以获取收集/射击机会，从而优化以生成收集/射击计划。

基于这种方法，应针对不同类型的任务（例如检测概率、检测任务）提出收集/效应质量的估计（预测模型），以更好地为传感器/收集器的选择提供信息，以满足特定需求。这种收集/效应估计的质量通常来自专家知识（使用规则）、模拟或神经网络学习方法。基于先前资源任务配对建议，将在蒙特卡罗模拟之外，研究的 AI/ML 对可行传感器-任务或效应器-任务的收集质量/效应估计的潜在用途。

2.3 多目标优化

所提出的优化方法利用新的小型智能体图表示和具有反馈决策模型公式的新型近似开环（用于异步分配 n 个效应器以服务 m 个任务/目标），以优化集合/效应器任务，从而适应各种任务和时间范围内的资源容量限制。这旨在最大化收集/效应值，并在给定多个相互竞争的 ISR 请求和效应（要求开火）任务的情况下推荐最佳收集/开火选项。阶段性决策取决于传入请求、累积收集值、正在进行的资源承诺、剩余资源容量和前一阶段的计划执行反馈。

底层优化模块实现利用基于图的遗传算法快速找到接近最优的解决方案 [5]。

虽然在大型解决方案空间中学习方法和优化的好处是显而易见的，但挑战仍然存在于分布式环境中，在闭环环境中，使用整体方法（相对于短视方法）来学习最佳解决方案。决策模型专门设计用于包含广义 ISR/效应任务和资源多样性，例如扩展基本预期的“破坏”任务，包括“中和”、“抑制”和其他类型的动态和非动态效应任务。决策建模可以很容易地包含多个平台（致命的、非致命的、网络的），这些平台也受到各种资源容量的限制。

考虑到网络空间和信息作战，在多域作战或混合战争的背景下完善概念和流程。特别是，多域作战中的目标聚焦于在时间和空间上同步的所有五个作战域的火力，以实现互补效果。接下来，我们将讨论目标方法在多域和混合作战环境中的适用性，以及人工智能和适当技术的使用。

2.4 混合和多域作战的考虑

联合火力旨在尽可能高效和有效地整合所有类型的火力，以产生预期的效果，这意味着整合动态和非动态火力以实现对目标的预期致命和非致命效果。此外，多域作战包括在时间和空间上同步的所有五个作战域（空中、陆地、海洋、太空、网络）的火力，以实现互补效果。

因此，我们需要仔细分析所提出的目标方法在多域或混合作战背景下的适用性，用于目标开发、能力分析、部队分配和战斗评估，以及人工智能和适当技术的使用。

用于目标的非弹药能力包括电磁频谱（通过电磁能量对目标产生致命或非致命影响的能力，即电子攻击）、网络（通过使用网络空间能力来实现目标产生影响的能力）和信息空间涉及使用信息相关能力对人类和自动化系统产生影响的能力。

特别是，在电磁频谱 (EMS) 和网络空间中开发目标以及通过计算机网络操作、电子战、信息战等提供非动态效应的能力，需要比致命目标更专业的技术和工具，并且超越物理目标。破坏思维包括影响行为和行动。

我们提出的模型可以扩展到涵盖网络威胁。在非致命影响（例如网络领域）、武器-目标配对或武器工程分析的背景下，确定对给定目标产生特定影响所需特定类型的致命或非致命手段数量的过程，仍然需要确定如何达到预期的效果，例如损害的网络概率、适当的效应器，及其有效性和影响的评估。网络目标可能需要考虑各种目标（不同网络上的路由器、防火墙、服务器、用户帐户等），以使用适当的网络武器实现网络效果，同时考虑网络操作中的附带损害。

例如，Maathuis 等人 [6] 提出了一种基于模糊逻辑的 AI 模型，以估计和分类网络作战的效果，并基于网络作战中的比例评估来确定目标决策。这种方法适用于在信息不确定、不完整、相互冲突的情况下开发决策模型。定义了一组规则以自动得出目标决策。这与我们的效应器-任务/效果匹配方法相结合，并结合优化以获得最佳解决方案。

3.0 AI赋能目标识别

指挥和控制、情报或目标确定过程包括目标检测、识别，以支持战术图像编辑和态势感知，以采取适当的行动。特别是，武器-目标分配过程依赖于有关目标的信息以及对它们的预期影响来实现目标。

自动目标识别和多传感器数据融合技术已经发展了几十年 [7]，[8]。这些包括用于低级数据融合的运动学和 ML 方法，以及用于高级融合的各种 AI 技术，特别是：

• 1 级——对象评估：运动学和 ML/DL 方法（例如卷积神经网络）、概率推理/贝叶斯网络。
• 2 级——情况评估（对象之间的关系）：ML（例如循环神经网络、长期短期记忆）、逻辑/符号方法。
• 3 级——威胁和影响评估（预测可能的对手行动方案及其潜在影响）：逻辑、基于知识、基于模型的方法、贝叶斯网络。
• 4 级——流程细化（资源管理）：使用遗传算法 [5]、[9]、[10] 或强化学习 [11] 的搜索/优化方法，学习获得最多奖励的动作。
• 5 级——用户细化：基于 AI/ML 的上下文推理/适应。

Blasch 等人 [12] 最近分析了 AI/ML 在传感器数据融合背景下的使用，并提出了将 AI/ML 与传感器数据融合协调/结合的方法，作为增强结果、效率和可解释性的补充方法。

3.1 基于机载传感器的海上监视

海上监视的主要挑战之一是机载平台利用多感知来源自动识别目标，包括来自光电和红外相机的航拍图像、雷达数据等，使用 AI/ML 技术增强态势理解并减少认知过载人类分析师/操作员。

为此，我们研究了深度学习和卷积神经网络 (CNN) 的使用，它们为对象分类提供了非常好的结果，并测试了几种 CNN 架构。在这种情况下，迁移学习用于大型标记的预训练数据集，并使用针对此特定任务的海上船舶数据集对模型进行微调。与类似条件下的最新技术相比，对不同网络和配置的测试证明了良好的准确性结果 [13]。

通过数据融合组合多传感器图像数据（例如 EO、IR、SAR）在提高自动目标识别（ATR）系统的性能方面具有优势。为了利用这些数据源并减少分类器结果的不确定性，所提出的方法是基于几个深度学习分类器的组合，使用证据推理（Dempster-Shafer 理论）更好地考虑分类器最后一层的不确定性。传统的 softmax 层被替换为更合适的层来模拟不确定性。这些层基于最小-最大或 ReLu 缩放，以及对不确定性的附加建模。比较了从海上观测视频中获得的结果：证据融合方法提供了比初始贝叶斯分类器更好的分类结果 [14]。

3.2 AI/ML目标识别挑战

虽然自动目标识别是一个成熟的研究课题，但挑战仍然存在，正如近年来大量关于人工智能目标检测/识别/识别的文献所示。

尽管 AI/ML 在定义明确特征的目标分类方面表现良好，但在准确的目标识别和增强的态势感知方面仍然存在挑战和需要改进的地方。更重要的是，AI/ML 数据驱动方法需要获取足够种类和质量的数据集，以确保良好的代表性。缺乏军事目标的标记数据（图像或声学信号）和/或数据集中缺少类别代表了一个重大缺陷。增加数据集的一种有趣方法是使用先进的 3D 模型和模拟技术生成逼真的合成数据。这保证了为在操作环境中遇到的目标类型提供具有代表性和平衡良好的标记数据集。用于模型训练的真实和合成数据集的组合以及迁移学习技术提供了增强的分类输出。

从航拍图像中检测/识别小物体也存在挑战（例如区分无人机和鸟类），并且需要特定技术（例如超分辨率）来处理小物体。此外，结合各种来源以获得准确估计的多模态数据融合还应考虑最佳利用 AI/ML 的哪个级别（像素、特征、决策级别）。此外，如 [14]、[15] 中提出的，正确量化和处理 ML 中的不确定性需要适当的技术来量化分类器预测的不确定性。

考虑到要结合多种来源以增强态势感知，出现了硬/软融合的概念，即基于物理的多模态传感器读数和人类生成的信息的融合。尽管在这一领域取得了进展，但在对齐异构数据和结合相关的不确定性方面仍然存在挑战。虽然已经提出了硬/软融合的框架，但 AI/ML 的利用仍然对自动获取可信情报和态势理解以采取明智的行动提出了挑战。

4.0 人工智能对混合和多域作战的挑战

AI/ML 预计将成为未来冲突中的一项关键技术，并且在过去几年中，AI/ML 技术在网络或信息领域的使用显著增加。赛博战是多域作战和混合战的核心部分，但信息环境和网络空间将越来越容易受到攻击。作战领域有着强耦合的联系，仍有许多挑战和不确定性需要解决。下面报告了其中一些挑战。

• 集中/分布式处理：多域和混合军事行动需要以不同速度从多传感器多智能源自动处理数据，以支持战场上的作战人员以及作战/战略决策者。必须优化设计边缘人工智能数据处理、本地分布式融合和云服务器上的集中式大数据分析的组合，利用资源管理技术解决在竞争环境中受到通信限制和带宽限制的问题，以实现最佳数据处理和传播。此外，机器学习数据驱动的方法需要过多的训练资源，这使得它们在边缘具有挑战性，并且需要适当的训练技术。

• 对抗性机器学习：人工智能，尤其是深度强化学习能够解决复杂、动态、高维的问题。它越来越多地用于资源分配和网络防御问题，例如在干扰、欺骗和恶意软件攻击的背景下，入侵检测系统或基于 DRL 的博弈论 [16]。机器学习方法在不受约束的领域中并不稳健，因此基于机器学习的入侵检测系统在面对对抗性扰动时很容易受到攻击。对抗性 ML 通过生成对抗性示例（通过进化算法或生成对抗性网络）可能导致基于 ML 的方法的漏洞，这可能会导致错误分类。

• 可解释性：机器/深度学习的应用导致了高精度模型的发展，但缺乏模型可解释性和推理可解释性，因为它不能解释情境上下文。为保证 AI 用户接受，AI/ML 应基于学习范式以及需要表达性知识表征的决策支持的可解释模型，向提供用户定制的解释。研究工作是 DARPA 可解释人工智能挑战 (XAI) 工作的一部分 [17]。

• 混合AI：考虑到训练数据稀疏的问题，超出对象检测/分类情况理解的复杂性，需要向决策者提供可解释的输出，各种AI技术的结合，基于数据和基于模型的方法，建议将神经网络与符号推理和学习相结合的神经符号方法利用它们的互补优势，包括利用 Preece 等人 [18] 提出的分层方法中的多模态传感器馈送的可解释性。

• AI可操作化：人工智能模型的构建需要对各种“未知数”不敏感，对噪声具有鲁棒性，不受攻击。人工智能系统需要适应操作条件、优雅的性能退化和可解释性方法。军事行动的人工智能操作化必须提供强大且可信赖的人工智能系统，因此人工智能系统的 TEVV（测试-评估-验证-验证）必须保证计算效率、对抗性鲁棒性、系统可维护性、可重复的结果，以实现人工智能的采用和用户信任/验收。建模与仿真提供对复杂系统的洞察并支持决策制定，仿真应包含用于训练和测试 AI 系统的主要数据源和场景，并且应利用 AI 技术来增强建模与仿真。还正在努力提供 ML 生命周期和认证的标准化。

5.0 结论

已经介绍了用于自动目标识别的代表性 AI/ML 应用程序以及寻找资源分配最佳解决方案的决策辅助。针对这个问题提出了足够灵活的 TIFAV 框架，可以扩展以支持混合/多域军事行动。这些研究工作与美国国防部联合全域指挥与控制 (JADC2) 倡议和相关工作相一致，特别是旨在加速在目标过程的多个阶段使用人工智能的美国陆军融合项目。

在设计可靠、强大和值得信赖的人工智能系统、决策者和作战人员的操作/部署和采用方面，仍然存在各种挑战。美国国家人工智能安全委员会 (NSCAI) 最近发布了一份最终报告 [19]，在这个方向上提供了一系列建议，特别是它提到需要开发和部署支持人工智能的网络防御和技术来对抗敌对信息操作。

此外，用于多域和混合作战的数据驱动的机器学习方法需要过多的训练资源，并且容易受到对抗性攻击（例如在计算机视觉或网络领域）。军事领域的复杂性，对多领域的考虑和混合战争的性质，需要实时态势感知以快速响应急迫的威胁，以及跨领域同步和动态适应变化的需要，要求通过结合人工智能技术和精心设计的最佳人机协作方式来提高自动化程度。