《Parakeet：一个高效人工智能能力开发的C2框架》加拿大国防研究与发展部（DRDC）

摘要

指挥与控制（C2）的概念和实践一直是与通信和信息技术共同发展的。最近人工智能（AI）的进步改变了信息技术世界的运行方式。这要求C2迅速适应，以充分利用人工智能的潜力。

深度学习（DL）一直处于人工智能近期发展的最前沿。作为一个例子，在计算机视觉领域，DL已经使物体检测和分类模型的发展成为可能，在某些领域可以与人类的能力相媲美[1]。然而，DL算法通常是数据驱动的，它们需要在成千上万的标记样本上进行训练。与军事行动相关的注释数据集可能很难得到。虽然开源数据集很容易获得，但它们很少具备军事行动背景下普遍存在的特征：

多种传感器模式（如可见光、红外、热或超光谱）。
降级的图像（噪音、模糊、低分辨率）。
标记的专门军事设备实例（不仅仅是日常普通物体）。
空中视角（不仅是地面图像）。

为了填补这一空白，有必要用数据收集活动来补充从开放源码或盟友那里获得的数据集。尽管数据收集本身需要大量的努力，但数据标记阶段往往是创建数据集最耗费精力的步骤。它被认为是阻碍人工智能进一步应用的主要瓶颈[2]。由于时间的限制（这是一个漫长而乏味的过程）和内容专家验证数据集质量的可用性，打标签是一个挑战。

在本文中，我们提出了Parakeet框架，该框架采用C2方法来建立标记数据集，为人工智能能力的发展和运作的成功创造必要的条件。这是通过确保适当利用现有资源（操作员、内容专家、时间和计算能力）来实现的。我们表明，用C2框架管理机器学习活动可以使物体检测和分类模型的开发更快，这反过来将使C2性能更好，通过检测、识别和跟踪感兴趣的物体和活动提供及时的情况分析。

1 引言

深度学习（DL）一直处于人工智能近期发展的最前沿。在计算机视觉领域，深度学习使得物体检测和分类模型的发展在某些领域可以与人类的能力相媲美[1]。然而，DL算法通常是数据驱动的；它们需要在成千上万的标记样本上进行训练。与军事行动相关的注释数据集可能很难得到。

在这份概念文件中，我们认为人工智能能力开发过程需要以一种高效的方式组织起来，以确保效率（优化人类在数据集标签上的努力）、信息质量保证（建立信任，确保模型的有效性和数据集的完整性）和性能（在预期的操作条件下衡量模型的性能）。

作为实现这一目标的第一步，我们提出了Parakeet框架，该框架将C2方法应用于标记数据集建设，为人工智能能力的发展和操作的成功创造必要的条件。这是通过确保适当利用现有资源（操作员、内容专家、时间和计算能力）来实现的。

最后，对C2如何从利用人工智能潜力所提供的新能力中受益的想法结束本文。

2 开发人工智能能力

2.1 AI开发策略

作为人工智能开发周期的一部分，明确定义需要开发的能力是很重要的。这可以在启动阶段完成，在这个阶段应该定义模型的目的，以及量化的性能目标和预期的操作条件。这些因要执行的任务不同而会有很大的不同。在停车场统计车辆数量需要较低物的体定位精度比起跟踪单个车辆的运动模式，尽管两者都与传感器反馈中的车辆检测有关。必须考虑操作条件，因为深度学习算法对背景环境很敏感，当我们将一个在夏季条件下收集的数据集开发的模型应用到冬季环境中时，可能不会有预期的表现，因为雪的存在会影响照明条件和图像对比度。

验证最终结果也将是人工智能开发周期的一部分。虽然这一步通常是在最后，但在开始时就需要考虑，因为收集验证数据可能会涉及到与训练数据所需的相同工作量，同时进行这两项工作会更有效率。评估最终结果的指标也应该在这个过程的早期确定，因为它们将在整个模型训练阶段使用。

在启动和验证阶段之间，我们需要建立检测模型并策划训练模型所需的数据集。这两个步骤通常构成了整个过程中最耗费精力的部分，而我们提出的Parakeet框架旨在有效地管理这些资源。

2.2 收集数据集

与军事行动相关的有标签的数据集往往很难得到。虽然开源数据集很容易获得，但它们很少呈现出军事行动背景下普遍存在的以下特征：

多种传感器模式（如可见光、红外、热或高光谱）。
降级的图像（嘈杂、模糊、低分辨率）。
标记的专门军事设备的实例（不仅仅是日常普通物体）。
多平台视角（空基和地基图像）。

上述人工智能开发周期的核心是需要适当的训练和评估数据来开发一个模型并评估其性能。有三种方法有助于实现这一目标：

挖掘: 充分利用外部资源，调整和整合注释。
收集: 从传感器中获取并注释数据。
增补: 应用随机转换，生成合成数据。

一般现有数据集的利用。然而，我们不应低估重新利用和整合这些现有数据集所需的工作量。首先，我们必须确定并获得这些数据集。然后，为了整合它们，我们需要花时间为新的目的在语义上调整注释和本体。

数据增强策略将使现有的数据集变得更好，然而，它们并不能取代真实的图像。

关于数据的生成，研究界到目前为止还没有证明在合成数据集上训练的模型能很好地生成真实情况。在任何情况下，仍然需要一个真实世界的数据集来验证模型在现实情况下的结果。

最后，在评估了现有的东西之后，即评估数据集的覆盖面和偏差，应该通过执行新的收集活动来补充。收集和利用方法都可能需要大量的标注工作，以确保为数据元素分配适当的标签。

3 应用于标注任务的C2

3.1 标注周期

从C2的角度来看，我们可以把数据集的标注周期看作是一个目标定位任务周期。事实上，为了更好地表达数据集整理和模型训练过程中所涉及的步骤，我们可以将标注周期的步骤与联合目标定位周期[3]的步骤相一致，如图1所示。

图1：Parakeet的标注周期与目标定位周期的映射。

这个周期涉及以下活动，对目标选择过程有了解的读者会很容易认识到。

指挥官的目标、指导和意图：在这一点上，我们在数据集标注覆盖面和模型性能要求方面定义了我们标注任务的预期最终目标。这些都取决于标注任务的目的。我们确定每一类感兴趣的物体必须存在的最低数量，并选择预期的标注名称。由于这些标注与任务有关，它们在不同的任务中会有所不同，这取决于所需的细节水平，以及在探测精度和开发工作之间的选择权衡。最后，我们设置最小可接受的置信度，以允许无监督学习，并配置模型的训练参数。

目标开发和优先排序：我们通过清点已经掌握的标注信息来确定标注的优先级，以突出哪些是缺失的，应该首先解决的。如果有的话，我们应用现有的模型来计算未标注数据的预测。我们评估预测的置信度和对所有数据元素的人工审查要求，以产生一个优先列表。

能力分析：我们评估模型能力以无监督方式标注目标对象。我们确定人类审查员的可用性和工作量，表明在这个迭代中可以验证的数据元素的数量。

指挥官的决策和军力分配：我们分配有限的人力验证资源，即把预测集分配给人类进行审查，或分配给无监督训练集进行下一个模型再训练阶段。我们决定哪些数据元素将被留作验证集。我们将标签集的命令分配给人类审查员。

任务规划和部队执行：在这一步，内容专家进行实际验证，并根据需要对模型进行再训练。

战斗评估：我们计算指标以评估模型性能和数据集标注状态。如果没有达到最终目标，就会重复这个循环。这也是一个步骤，我们可以评估是否需要将标注的重点重新放在某些类型的对象上，因为我们的例子很少，类似于为情报周期设置和满足优先信息请求。

3.2 我们关于收集与数据标注的经验

通过我们在深度学习能力方面的研发工作，我们对各种数据集进行了收集、整合和标注。2019年10月，DRDC与加拿大5e Régiment d'artillerie légère du Canada（5e RALC）合作，领导了一项数据收集活动，建立了一个以加拿大多辆装甲车为特征的视频数据集。超过16个传感器被用来收集图像，包括位于地面或空中（无人机）的增强型、可见光和红外相机。这导致了在一天内获得了超过2.5万亿字节的数据。给这个数据集标注是一项重大的努力。2020年2月的第二次数据收集活动，也是与5e RALC和皇家22团1营合作进行的，通过现场超过25个传感器获得了超过4万亿字节的数据。很明显，需要制定一个标注这些数据集的策略。

在一个相关的项目中，DRDC在2018年11月协调了一个关于航空视频数据集的标注会议，为期一个月。来自CFB Valcartier Personnel Awaiting Training (PAT)排的两名全职军人在4个星期的时间里在4万多张图像中识别了大约12万个目标对象。相比之下，开源的ImageNet数据集[4]有超过120万张标注的图像。按照PAT Platoon的标注率，要达到与ImageNet数据集同样大小的训练集，所需的标注工作需要30多个月。

在开发汽车颜色标签的原型时，我们尝试了一种不同的方法，即利用迭代的模型训练过程。首先，我们花了43个小时对前8000张图片进行人工标注。然后，我们在接下来的7000张图片上采用了半自动化的方法，这些图片都是由模型预先标注的。此后，人工审查过程花了不到一个小时。这代表了效率的显著提高（标注速度提高了40倍以上），这启发了我们开发Parakeet的概念。在建立军用车辆数据集时，我们进行了第二次同样的练习。这一次，我们首先在8小时内给8000张图片标注。然后，对46000多张图像的审查过程用了不到2小时。

3.3 Parakeet概念

本节介绍了Parakeet概念及其主要组成部分，它利用主动学习策略进行数据集标注和模型训练，并使之自动化。更具体地说，Parakeet在三个方面改进了传统的标注方法：

高效的验证：Parakeet预测对象边界盒的定位。人类标注人员只需验证这些框，而不是从头开始画它们。
无监督的学习：Parakeet自动将具有高预测置信度的目标对象自动纳入训练集。
主动学习：Parakeet选择预测置信度低的目标对象边界框进行人类验证。

图2显示了用于多模态图像和视频数据集的完整Parakeet概念。与视频数据集一起工作，增加了利用帧插值的可能性。多模态数据集可以包括图像/视频模态的混合数据（如可见光和红外线）。在这种情况下，我们可以利用在一种模态（可见光）上训练的检测模型来标记另一种模态（红外线）的数据。此外，如果数据是由两个不同的传感器同步捕获的，我们可以利用这一信息在传感器模式之间转移标注信息。

图2：完整的Parakeet原型概念

在图3中，我们可以看到组成Parakeet框架的七个主要组件。

1.注释库：用于存储和管理数据集信息的中心库，包括注释信息。
2.检测和分类模型：进行物体检测和分类预测的模型集合。
3.模型训练模块：一组算法，使用可用的训练数据集训练检测和分类模型。
4.预测模块：使用训练好的模型对所有可用的数据进行目标对象检测和分类，但也利用其他预测策略，如相关模式转移、视觉物体跟踪和帧插值。
5.人工验证模块：一个图形用户界面，允许人类操作员创建新的注释，以及验证和纠正提议的目标对象标注和边界框。
6.性能评估模块：测量模型的性能和数据集标注的进展，以便在数据集标注和模型训练过程是否令人满意方面做出决策。
7.数据分流模块：这是负责处理标注过程中所有C2协调方面的组件。这个模块接收来自其他模块的信息，协调它们，并决定在哪里以及如何将数据分配给每个子集。

图3：Parakeet框架组件。

3.4 AI对C2的影响

指挥与控制的概念和实践一直是与通信、信息技术共同发展的。最近人工智能（AI）的进步改变了信息技术世界的执行方式。这就要求C2迅速适应，以充分利用人工智能的潜力。

在企业层面上应用C2塑造我们的人工智能方法，将决定我们能够达到的力量倍增水平以及这些能力随着时间的推移可能达到的程度。作为回报，新的人工智能能力将影响C2的开展。我们预计，人工智能可以通过多种方式加以利用。从传感器馈送中更好地探测物体，可以为更精确和完整的共同作战画面提供信息，使及时的形势分析有助于战斗空间管理和认知。识别局势变化和跟踪局势演变对于确保C2的反应敏捷性至关重要。人工智能有可能通过自动检测这些情况来加速决策-行动周期。此外，还有许多小的改进领域，人工智能可以增加效率和部分自动化，导致更快的反应时间，需要更少的人力资源或允许人员将时间用于更重要的任务。

为了达到这一点，我们需要解决关于训练数据集的关键信息保障，以确保我们能够识别不一致的、过时的、不正确的信息，以及错误信息。这是建立对所创建的人工智能能力的信任基础，它需要一个管理人工智能发展的战略方法。

当然，人工智能不会提供所有的答案，但我们可以预期，那些学会如何最好地利用人工智能技术的人将会形成对对手的竞争优势。