【AI+军事】《用于威胁评估的人工智能工具》加拿大国防研究和发展部技术报告，附中文版pdf

2022 年 4 月 17 日 专知

导语：AI/ML在国防与安全威胁评估中的应用是一大热点，本文原文来源于加拿大国防研究和发展中心，其探讨了用于威胁评估的人工智能工具。专知特此做了中文编译，欢迎关注，完整中英文版请上专知网站(www.zhuanzhi.ai)查看！

摘要

这项工作的目的是深入了解人工智能 (AI) 工具以及如何将它们应用于空中目标威胁评估。人工智能工具是包含人工智能元素的软件产品。关于人工智能有多种不同的思想流派，并且可以在同一个工具中使用不同的方法。许多现代人工智能方法都涉及机器学习 (ML)。本参考文档将涵盖不同类型的 AI 和 ML 以及如何将它们应用于威胁评估。这项工作将介绍所有 ML 模型共有的元素，例如数据收集、数据准备和数据清理。该报告还将讨论选择适合不同问题的最佳人工智能类型。

此外，这项工作将描述处理缺失数据或数据不确定性的方法。将提出实用的解决方案，包括通过数据插补填充缺失数据或修改人工智能工具的架构。

最后，该报告将检查人工智能工具的输出与现有基础设施的集成。将结合威胁评估过程及其可以改进的元素来描述 AI 工具。还将讨论 AI 工具系统的通用架构。

国防与安全的意义

威胁评估对于维护国家安全利益和维护各国主权具有重要意义。空中威胁评估对于一个有大片国土需要保护的国家（例如加拿大）很有价值。人工智能和机器学习都可以应用于威胁评估的研究领域。通过学习构建人工智能驱动的工具，加拿大的国防和安全将通过获得持续的前沿研究得到改善。无论哪个国家开发出最有效和最可靠的威胁评估工具，在决策和威胁反应方面都将获得优势。通过利用前面提到的快速扩张的领域，加拿大可以获得决定性的优势。

1 简介

评估所有领域(如空中、网络、陆地、海洋、太空)的威胁是维护任何国家安全的一个重要方面。威胁分析包括查看敌人过去、现在和预期的行动，以及这些行动对友军资产或单位的影响。威胁评估还考虑了为减少、避免或消除风险而可能采取的任何防御措施[1]。在防空的背景下，空中目标威胁评估的任务需要识别、确定空中目标和优先排序，并管理任何必要的资源以应对威胁[2,3]。

当前的空中目标威胁评估任务由操作室中的一组高技能和经验丰富的人员执行[3,4]。该任务涉及考虑先验信息（例如，情报报告和评估标准）和获取的信息（例如，从传感器系统动态收集的运动学信息），以确定目标对某个感兴趣点/区域（POI/AOI)。此信息（运动学和非运动学）称为提示。这些信息的心理整合需要相当水平的战术专业知识，包括有关威胁类型、军事条令和基于经验的评估启发式的知识[4]。人工智能(AI)将允许根据防空作战员(ADO)可用的线索以及他们的威胁评估决策[5]或专业知识来创建工具。

本报告全面概述了AI工具及其构建。这些方法是尖端的并且非常有效。本报告将清晰地展示人工智能工具的开发方式。它将展示哪些组件是必要的，如何获取数据并使其对机器学习(ML)模型有用，以及AI工具如何与更广泛的威胁评估环境进行交互。

2 人工智能

本节将介绍人工智能的概念和许多现代人工智能算法。它将包含有关AI和ML主要主题的背景知识。它还将描述AI工具中经常出现的组件。

2.1 概述

从一个非常广泛的角度来看，人工智能是人工系统“执行与智能生物相关的任务”的能力[6]。然而，这是一个非常宽泛的术语，涵盖了许多系统。例如，它不区分人工智能系统、智能系统和自动化系统。关于什么构成人工智能，文献和文化中有许多定义。本报告中使用的“人工智能系统”的定义是文献和文化中各种来源的观点的结合。

人工智能系统是一种具有以下能力的人工系统：

1.执行“有趣的”[7]任务，这些任务“通常与智能生物相关”[6]

2.“自学成才”[7,8]

早期的AI开发人员研究的问题在智力上对我们来说很困难，但对计算机来说却相对简单。这些问题可以用一组形式和数学规则来描述[9]。例如，国际象棋游戏由一组有限且严格的规则定义，这些规则可以编程到人工智能中。然而，人工智能很难处理使用人类直觉而不是使用一组正式的规则来处理的任务，例如图像识别。人工智能的一种方法是基于知识的方法，它涉及尝试设计形式语言和手工制作的逻辑推理规则，以使机器能够推理和解决问题。另一种方法是让计算机从经验中收集知识，而不是让人类对程序的行为进行硬编码。

机器学习是通过从数据中发现模式来获取知识的能力。因此，这些数据的表示会显著影响机器学习算法的性能。换句话说，提供给机器的信息（即特征）会影响它解决问题的能力。然而，手工设计的特征受到人类知识的限制。让机器发现哪种表示最好称为表示学习。学习到的表示通常比手工设计的表现要好得多。本报告在2.3小节中探讨了人工智能的机器学习方法。

2.2 AI 工具的组成部分

AI 工具的最终目标是通过减少操作员的认知和体力工作量来改善操作员的决策过程。为此，人工智能工具通过提供协作环境来补充操作员的角色。人工智能工具处理可用信息，从数据中获得洞察力，并以有利于操作员体验的方式呈现信息和洞察力。图1显示了AI工具流程的概览。该模型基于[3]中提出的决策支持系统(DSS)架构。

图1:操作员、环境和人工智能工具的交互

上面介绍的AI工具被认为是基于第 2.1 节中介绍的定义的AI系统。评估的复杂性和重要性使其成为一项不容易解决的任务。人工智能工具的学习和适应方面可以通过机器学习方法来完成，这将在2.3小节中进行描述。

2.3 AI 中的机器学习

本节将讨论机器学习和人工智能的结合。有许多不同类型的AI算法，ML是这些算法的一个子集。本节将描述使用ML从数据中学习的算法类型，以及这对AI工具有何用处。作者还在他们之前的工作中定义了机器学习中的许多基本概念[5]。

2.3.1 概述

根据柯林斯词典，机器是“使用电力或发动机来完成特定工作的设备”[10]。在机器学习的背景下，机器就是计算机。更具体地说，是计算机中的程序完成了这项工作。正如[11]中所定义的那样，“如果计算机程序在T中的任务（由P衡量）上的性能随着经验E提高，则可以说计算机程序从经验E中学习某类任务T和性能度量P。”这个定义提出了机器学习问题的三个主要组成部分：任务T、性能度量P和经验E。

1.任务是要解决的问题。例如，分类任务涉及确定某个输入属于哪个类别（例如，对象分类）。其他任务示例是回归（例如，成本预测）、异常检测（例如，欺诈检测）和去噪（例如，信号处理）。

2.性能度量是用于评估ML算法性能的指标。例如，准确度是一种可用于分类任务的性能度量。准确率是模型正确分类的示例的分数。“示例”被定义为特征的集合，通常表示为向量，其中n为特征个数，每个元素为一个特征[9]。数据集是一组例子的集合。

3.经验是指模型在学习过程中所接受的训练类型。在无监督学习中，模型所体验的数据集仅包含特征，并且由模型来学习数据的特征。例如，学习描述数据的概率分布可能很有用。聚类也可以使用无监督学习算法来执行。在监督学习中，模型体验的数据集不仅包含特征，还包含与每个示例相关联的标签。无监督学习模型观察几个例子，而监督学习模型观察几个例子及其标签。但是，在某些情况下，有监督和无监督之间没有明确的区别。例如，半监督学习涉及从包含标记和未标记数据的数据集中学习。在强化学习中，模型不是从固定的数据集中体验，而是模型与环境交互并从交互中学习。

为了了解模型在处理现实世界中的新数据时的表现如何，通常会分离出一部分数据集，以便仅在完成所有训练后才能使用。这被称为测试集，由于模型之前没有看到测试集中的数据，因此测试集上的性能可以作为模型真实性能的指标。文献提供了机器学习算法和模型的许多不同分类（例如，[12]提出了机器学习的五种范式：连接主义（例如，神经网络、象征主义、进化论、贝叶斯和类比）。本报告并不是对机器学习中在空中目标威胁评估领域有用的不同方法的详尽回顾。本报告重点关注三类特定的方法：监督机器学习、无监督机器学习和强化学习。

3 空中威胁评估——人工智能工具

本节将把空中威胁评估的任务与人工智能工具的能力联系起来。AI 能力将映射到威胁评估的每个阶段，并将展示如何将其集成到现有能力中或改进现有能力。

3.1 AI 工具在威胁评估中的优势

如第 1 节所述，ADOs等操作人员面临认知和身体挑战，这些挑战不利于其做出可靠决策的能力。人工智能工具将通过提供以下两个主要好处来应对这些挑战：

1.减少认知和身体负荷量：人工智能工具为操作员提供的支持和显示将缓解导致操作员总压力的众多因素。这种好处是通过使用决策支持系统(DSS)的设计原则来提供的。

2.利用最先进的方法：人工智能的机器学习方法是一个非常受欢迎的研究领域，因此在方法的开发和改进方面做了大量工作。通过使用AI支持空中目标决策，该系统可以使用和利用最先进的方法。

3.2 威胁评估中的 AI 工具组件

如2.2小节所述，通用AI工具中有多个组件可以专门用于评估。威胁评估AI工具中的组件及其专业化如下：

1.操作员（Operator）是评估过程中的ADO。

2.咨询能力（Advisory Capability）负责与ADO以及各种传感器和数据库系统进行交互

3.领域知识（Domain Knowledge）将包括ADO的经验以及他们用来进行准确评估的任何规则。

4.算法组（Algorithms）负责目标数据的处理和威胁评估。

5.环境（Environment）为人工智能工具提供操作限制和目标数据。

3.3 机器学习在威胁评估中的应用

由于机器学习方法的种类和成功率众多且不断增加，机器学习在威胁评估中的应用数量仅限于研究人员的知识和经验。本报告将概述如何将三种主要机器学习范式应用于人工智能工具进行威胁评估的示例。

3.3.1 监督学习

通过一组标记的过去目标示例，其中每个示例包含有关历史目标及其相应威胁值标签的信息，监督机器学习可用于将威胁值分配给目标。

3.3.2 无监督学习

可以从目标中提取各种信息。因此，对于某个目标，可以为系统提供关于目标的大量线索，作为威胁评估的基础。无监督学习可用于分析提示数据，以深入了解底层结构和模式。例如，无监督学习的一种用法是降维。通过降低提示数据的维数，系统可以处理更紧凑和简洁的目标描述。换句话说，目标是以数据可以提供关于目标的大致相同信息但使用较少资源的方式转换数据（例如，使用10个提示而不是50个提示）。

3.3.3 强化学习

可以将威胁评估过程建模为强化学习问题。例如，咨询能力可以在操作期间使用RL来了解操作员希望如何显示信息。这类似于社交网站知道在首页上显示哪些项目的方式。例如，如果RL模型有一个奖励处理速度的策略，它可以测量从ADO开始评估到ADO提交威胁评估所花费的时间。

3.4 结构与流程

人工智能工具的结构需要考虑多种因素。该工具将在流程管道中运行，从数据收集和准备开始，到模型训练，然后到模型预测，最后为用户显示结果。在AI工作流程中，可以更容易地将结构视为流程工作流[26]。一旦AI工具经过训练，它就会不断返回到周期的第一阶段，并使用新数据和新见解进行重新训练。这个过程使人工智能工具非常强大，可以随着时间的推移保持准确性和有效性。

AI工具流程的最后阶段是将工具转移到精度维护。在这个阶段，需要对工具进行监控，以确保准确性不会下降。该工具也将在此阶段接收反馈并从ADO评估中学习。最后，人工智能工具的开发并没有停留在这个最后阶段；相反，它必须随着威胁的演变、环境和要求的变化以及新的和更相关的数据变得可用，而相应地更新和改进。

图3: AI工具中的模块及其交互

图 3 提供了AI工具中以下模块的可视化表示：

1.数据库组件

2.数据访问和存储模块

3.数据预处理模块

4.ML 模型组件

5.数据后处理模块

6.可视化/操作员交互模块

3.4.1 人工智能工具集成

将ML组件集成到更大的AI工具中需要两条不同的管道。第一个管道将是训练管道，这是进行模型选择、测试和训练的地方。一旦确定了合适的ML模型，并且该模型已经针对所有当前可用的数据进行了训练，它将在称为推理管道的第二个管道中使用。

图4显示了训练管道的可视化。第一步需要收集历史威胁评估数据以及ADO威胁标签（如果所需的ML模型使用监督学习算法）。接下来，这些数据将通过数据预处理模块合并为格式良好的数据集。然后，这个大型数据集将被分成三个不同的集合：

图4 ：ML 模型训练管道

一旦最佳候选ML模型经过训练和选择，它将用于AI工具的生产版本。该模型将用于实时提供在线推理/预测。候选模型的训练和测试可以继续进行，也可以纳入新模型或研究。这将确保AI工具始终使用性能最佳的ML模型。

一旦经过训练的模型展示了所需水平的能力，就该使用推理管道了。推理管道是ML组件，将在操作中使用的实际AI工具中使用。该管道的示意图如图5所示。

图5：ML 模型推理管道

3.5 威胁评估和人工智能流程

本小节将解释威胁评估过程的背景以及传统上它是如何完成的。它还将标志着传统流程中的挑战和通过智能决策支持系统(DSS)改进的机会。还将介绍AI工具及其与传统DSS威胁评估的关系。

3.5.1 线索和结构

有关提示信息和分类的描述，请参见[21]。出于 AI 目的，提示数据应构造为包含m个条目的向量，其中m是观察中的提示数，每个条目是一个提示值。每个完整的向量都是一个样本，如果有足够大的样本训练数据集，就可以进行机器学习。

对于空中威胁评估，已经确定了16个线索来构成关于目标的最有价值的信息[4]。这些见表 1。

表 1：用于目标威胁评估的线索。

3.5.2 挑战和机遇

威胁评估过程绝非易事。这是一项压力极大的任务，需要做出复杂的决策。该过程的认知和物理性质是由于各种原因造成的，当它们结合起来时，会对操作员的决策过程产生不利影响。

本报告中提出的人工智能工具可作为空中目标威胁评估的DSS。人工智能工具的人工智能方面在于系统的运行方式。更具体地说，人工智能工具将把人工智能概念（例如，机器学习、适应）纳入其操作中。

3.6 AI 工具

AI工具将能够集成到空中威胁评估的所有阶段。本小节将描述威胁评估的每个阶段与AI工具的能力之间的关系。

空中威胁评估的阶段如下[4]：

1.扫描并选择提示。

2.比较、调整适合和适应。

3.计算威胁等级。

4.继续处理。

3.7 AI 工具在威胁评估中的挑战

第3.5.2节概述的关于操作员对DSS的信任的关键点之一是用于生成威胁评估结果的模型的透明度。操作员很难对没有提供理由和解释的机器辅助预测有信心[4]。出于这个原因，已经创建了许多在计算和标准加权方面具有透明度的DSS方法。例如，许多MCDM方法可以为每个单独属性的权重以及它们如何对最终威胁评估做出贡献提供充分的理由。这是MCDM DSS工具的优势之一。不幸的是，这种透明性可能会导致工具缺乏复杂性和表现力。相反，机器学习工具可以同时基于所有数据点之间的非常深的联系做出假设，这可能是以人类不会的方式。这种增加的复杂性往往会降低工具的透明度和可解释性。

4 AI工具的架构

在本节中，将讨论AI工具的潜在架构。将涵盖从面向操作员的界面到AI组件组合的设计。所提出的AI工具的整体架构可以在参考文献[35]中看到，它需要三个主要组件，如图6所示。

图6：AI 工具的概念框架

未来的人工智能工具可能会将旧的基于模型或自上而下的方法与新的数据驱动的自下而上的方法结合起来。这种类型的系统允许人工智能工具拥有一个由数百或数千个专家派生规则以及数百万条特定领域知识（如历史传感器数据）组成的知识库[36]。一种可以结合领域专业知识和数据驱动学习的人工智能系统是回归树。围绕回归或分类树构建用于空中威胁评估的AI工具将是一个不错的选择。回归树的另一个好处是它们的输出可以被人类操作员解释，并且可以解释它的选择。整个模型基于一系列决策或规则，这些决策或规则可以在操作员界面中作为理由提供。这使ADOs可以对AI工具提供的评估充满信心，或者质疑为什么某个值的解释与他们的解释不同。

4.1 功能需求

1.当传感器或智能数据更新时，人工智能工具应摄取数据并进行训练或预测。

2.AI 工具应为 ADO 定义的感兴趣区域内的所有目标提供评估预测。

3.界面应提供评估说明并允许 ADO 交互。

4.AI 工具应提供自动模型训练或新数据的重新训练。

5.AI 工具应与 ADO 请求时可用的任何数据子集一起使用，并在新数据可用时合并它。

4.2 非功能性要求

1.AI 工具应在数据可用后 100 毫秒内提取数据。

2.AI 工具必须处理每个实例和感兴趣区域的数百个目标。

3.AI 工具应在 2 秒内提供 ADO 要求的特定威胁评估。

4.界面必须符合 ADO 偏好，并允许在 3 次点击内访问所有常用命令。

5.人工智能工具必须对缺失的数据做出强有力的反应，并继续进行评估和学习。

4.3 未来步骤

本报告之后的下一步将是开发供ADOs用于空中威胁评估的AI工具。为完成此目标应采取的一系列步骤如下：

1.需求分析：人工智能工具开发人员应在威胁评估过程的每个阶段与关键决策者坐下来。

2.确定AI工具所需的组件：完成需求分析后，开发人员应决定哪些通用AI工具组件将需要，哪些可以省略（如果有的话）。

3.AI和ML组件的选择和评估：架构和需求确定后，应该明确哪些类型的AI和ML适合该问题。

4.文档和培训：一旦开发了最终的AI工具并通过代码注释和其他文档工具正确记录了文档，就该开发外部文档了。

5.集成到生产系统：人工智能工具将投入生产，以协助ADOs进行空中威胁评估。

6.监控和维护：随着时间的推移，随着新威胁或新情况的发现，人工智能工具将能够得到更新和改进。

5 结论

人工智能工具是执行通常由人类处理的复杂任务的最先进方法。这为提高人类操作员的效率和有效性提供了许多可能性，例如执行高脑力任务的ADOs。威胁评估就是这样一项非常适合人工智能协助的任务。重要的是要承认，人工智能工具不会取代操作员做出关键决策：相反，它们将为决策者提供更准确的数据，以有效地做出关键和及时的决策。

将ML集成到AI工具中可以带来许多过去只能通过人类设计才能实现的新可能性。ML可以让AI工具在没有人类教授或者面对不断变化的情境要求或敌人能力的情况下，从数据中学习。它可以重新设计AI工具交互，使其对 ADOs尽可能有用。它可以帮助将新目标与历史示例进行聚类，从而为ADOs提供更好的威胁心理模型。可以自动检测异常数据或空中目标并向操作员报告。

熟练和经验丰富的ADOs与AI工具的结合将实现更快、更准确和更强大的空中威胁评估。通过让人工操作员参与进来，该工具将保持ADO的责任和专业知识，同时提高生产力和效率。结合处理不完整数据状态的现代方法也将使该工具对数据不准确或不可用具有鲁棒性。

因此，该工具应该有助于国防和威胁评估过程。

专知便捷查看