《计算机视觉在战争战术边缘的适应性：应对作战环境的不确定性》

指挥与控制 (C2) 系统越来越多地采用计算机视觉 (CV) 系统来改进战场上的情报分析，即战术边缘。CV 系统利用人工智能 (AI) 算法来帮助可视化和解释环境，从而提高态势感知能力。然而，由于环境和目标瞬息万变，部署的模型可能会被混淆，因此 CV 系统在战术边缘的适应性仍面临挑战。由于环境和环境中存在的物体开始发生变化，在这种环境中使用的 CV 模型在预测时可能会变得不确定。此外，任务目标的快速变化也会导致技术、摄像机角度和图像分辨率的调整。所有这些都会对系统的性能产生负面影响，并可能给系统带来不确定性。当训练环境和/或技术与部署环境不同时，CV 模型的表现可能会出乎意料。遗憾的是，大多数战术边缘场景并未将不确定性量化（UQ）纳入其部署的 C2 和 CV 系统。本概念文件探讨了在战术边缘同步进行由 UQ 驱动的稳健数据操作和模型微调的想法。具体来说，根据预测的残差整理数据集和训练子模型，使用这些子模型计算预测区间（PI），然后使用这些 PI 校准部署的模型。通过将 UQ 纳入战术边缘 C2 和 CV 系统的核心操作，我们可以帮助推动战场上有目的的适应性。

图 2 - 修改后的态势感知模型；描述战场上如何衡量、操作和使用态势感知进行决策。经过修改，明确描述了 CV 和 UQ [10] 。

环境不确定性被定义为 "无法预期和准确预测世界未来状态的程度"[1]，它可能会限制指挥与控制（C2）系统帮助作战指挥部快速、有序地规划、准备和执行不同目标的能力。战术边缘可定义为 "在对信息系统和作战准备有很强依赖性的战斗空间中，冒着致命风险运行的平台、地点和人员"[2]。在这里，环境、任务和目标都可能迅速发生变化，并可能给作战人员的 C2 系统带来不确定性。C2 系统可利用计算机视觉（CV）对战术边缘不断变化的环境提供更全面的了解。遗憾的是，CV 模型是数据驱动的，在应用于不断变化的物体和环境条件时，可能会出现较大的外推误差[3]。换句话说，当环境和环境中存在的物体开始发生变化（哪怕是微小的变化）时，C2 和级联 CV 系统可能会变得误判和不准确。CV 系统以一定的可信度对不同的特定任务对象和智能体进行分类、预测和定位。在战术边缘，作战人员对其系统的信心和准确性与不可预测性可能是生与死的区别。不确定性量化（UQ）用于确保模型的可信度，提高作战人员对数据限制和模型缺陷的理解。本文探讨了作战人员利用不确定性量化影响 C2 和级联 CV 系统的想法。具体来说，就是计算可信度和预测区间 (PI)、检测超出分布范围的数据 (OOD)，以及收集相关数据集以重新校准部署的模型。最终，作战人员可以利用 UQ 来帮助提高适应性，并促进人工智能系统的稳健性和信息量[4]。

据美国国防部高级研究计划局（DARPA）称，由于模型、参数、操作环境和测量的不确定性，对国防部（DoD）非常重要的复杂物理系统、设备和过程往往不为人所理解[5]。因此，鉴于这种确定的复杂性，作战人员应致力于创建一种战斗节奏，将测量其 CV 系统的不确定性纳入其中。我们希望在战术边缘执行任务的作战人员能更深入地了解其部署的 CV 模型的性能。作战人员可以利用测量到的不确定性直接影响未来的 C2 和 CV 系统/行动。同样，这将允许在不断变化的环境中更快地适应，提高作战指挥部的态势感知能力。

1.1 战术边缘的计算机视觉

计算机视觉可定义为一种特定的人工智能系统，使计算机能够解读视觉信息。它通常涉及通过卷积神经网络（CNN）等算法解析视觉数据，以检测、分类和定位感兴趣的物体。通过不断检测周围环境中的物体，CV 可以提供战场上的可视性。作战人员可以分析从不同边缘传感器捕获的数据，以提供可操作的情报。CV 还能帮助作战人员看到隐藏的或肉眼无法看到的物体。

对 CV 模型进行训练的目的是对预期在战术边缘看到（或隐藏）的物体和环境做出准确预测。CV 模型的训练通常首先涉及整理一个视觉数据训练数据集，该数据集代表了预期看到的物体和环境。这些数据将通过不同的数据操作进行整理，如数据收集、数据标注、数据清理和数据转换。所有这些不同的数据操作都可以在战术边缘执行，并允许作战人员有效地整理相关数据，用于改进其模型。然后，CV 模型将尝试学习在训练时传递给模型的数据的表示和分布。

CV 模型还将通过类似的过程进行验证和测试。训练集之外的数据集可以进行策划，用于验证和测试 CV 模型。测试数据集可用于模型测试，并且只能在模型完成整个训练（或微调）周期后使用。测试数据集应与训练数据集分开，以便测试结果能准确反映模型对其从未见过的数据进行泛化的能力。策划这些不同的数据集是为了改进和评估部署在战术边缘的模型。

通过使用 UQ，作战人员可以更准确地衡量其 CV 模型的失败之处，然后开始整理必要的数据并对模型进行微调。下图 1 显示了定义明确的类别的数据如何随着时间的推移而开始变化和退化。这直接影响到部署在战术边缘的模型预测的可信度。本文建议作战人员在其核心 CV 操作中建立 UQ。作战人员应积极测量已部署模型的不确定性，整理相关数据集，微调这些模型，然后将这些新模型重新部署到战术边缘。

图 1 - 数据随时间漂移；显示了定义明确的物体和环境如何随着时间的推移而发生变化。最终降低 CV 模型的性能。[6]

1.2 提高作战人员的态势感知能力

态势感知可定义为感知环境中的要素、了解环境中的要素以及预测其在不久将来的状态的过程[7]。指挥控制系统利用态势感知，"由适当指定的指挥官对指定和附属部队行使权力和指挥，以完成任务"[8]。战术边缘可能是危险和混乱的，对这一环境的透彻了解将使作战人员做好更充分的准备。此外，能见度在战场上至关重要，作战人员应利用 CV 系统获得更强大的态势感知和环境能见度。

根据米卡-恩斯利（Mica Endsley）描述的 "态势感知模型"，在 C2 基础设施内运行的部分 CV 系统可被想象为处于 "1 级"。该模型描述了在这一级别上运行的系统的功能，即帮助提供 "对当前情况中各要素的感知"[9]。部署的 CV 模型、算法和传感器/摄像头都有助于检测当前情况下的物体和环境。如前所述，CV 使计算机能够消化和解释视觉信息，在此情况下，特别是战术边缘的元素和物体。这种对物体的感知会影响并支持该模型的更高层次。最终，它流入战术边缘的决策和行动执行阶段。

可以认为，UQ 存在于态势感知、决策和行动执行阶段的周围。最终，这将影响模型的反馈阶段。从 CV 系统测得的不确定性可用于影响接下来的决策阶段。同样，在进行决策和行动执行后，UQ 也可用于衡量信心和总体效果。具体来说，UQ 将有助于衡量部署在战术边缘的 CV 模型的预测精度和正确性。这些结果最终将流入模型的反馈阶段。利用这种方法，UQ 将为作战人员提供适应性更强的态势感知。图 2 是该模型稍作修改后的示意图。