推荐！ 《空中平台自主性测试与评估》美国空军84页技术手册

2018年美国国防战略强调，有效实施自主性对于未来的交战至关重要。这种实施的关键是测试和评估执行自主任务的系统的能力。本手册的目的是为测试人员提供工具、方法和见解，以自信地对待空中平台的自主性测试。选择空中领域是由于其对空军任务的适用性，并有助于确定本手册的重点范围。本手册的目的不是要成为测试和评估自主性的详尽参考资料；相反，本手册的目标是为更多的调查提供一个启动点。

本手册首先概述了目的、关键定义和基本假设，以帮助澄清空军测试中心的 "自主性 "含义。在建立了这种基础性的理解后，介绍了自主性的测试方法。在机载平台上测试自主性带来了独特的挑战，因此，要想测试成功，应该利用以下五个原则。早期用户参与、持续和累积反馈、简化流程和产品、试点培训方法和人机互动考虑。总体的测试方法分为两个范式：测试的三个阶段和敏捷开发与运营（DevOps）。

第二种范式的特点是，从目前的测试实践到结合敏捷和DevOps的原则，有了更大的转变。敏捷哲学强调个人和互动而不是流程和工具，强调工作产品而不是全面的文件，强调客户合作而不是合同谈判，强调响应变化而不是遵循计划。它在现代软件开发中发挥了重要作用，并且随着自主性的发展，肯定会在未来发挥作用。此外，DevOps是一个革命性的概念，它整合了企业的开发和运营功能。这个过程依靠持续集成、持续交付、持续监控和记录、微服务以及跨职能的协作团队来快速实施高质量的产品。随着空军开始采用更多的敏捷和DevOps原则，它将能够实现国防部 "以相关速度交付"、"组织创新 "和 "简化从开发到实战的快速、迭代方法 "的目标。

图 自主性测试执行的四个组件

引言

为了最大限度地提高作战人员的杀伤力，必须将自主性纳入系统，但首先必须对其进行开发、测试和实战化。2018年美国国防战略摘要（参考文献1）和2019年国防授权法案（参考文献2）已经明确表示，将包含自主性的系统投入使用对于美国保持其竞争优势至关重要。此外，这两份文件都呼吁改革国防部的采购程序，以便 "以相关的速度 "产生结果。2019年，空军首席科学家发布了《自主性：前进的道路》（参考3），该文件为推进自主技术水平建立了一个路线图和框架，同时支持其向现有系统过渡。为了响应这一更高层次的指导，美空军测试中心（AFTC）已经制定了一个战略目标，即 "塑造未来的测试和评估能力，以最大限度地提高作战人员的致命性"。这一战略目标的一个关键原则是建立一种测试具有自主性和机器学习算法的系统的能力。本手册支持AFTC的战略目标，并为机载平台上的自主性测试所应考虑的因素和方法提供参考。

本手册的组织结构如下：首先，定义了本手册的具体目的、关键术语和基本假设。此外，第一节概述了本手册的范围。下一节制定了在机载平台上测试自主性的测试方法。本节首先详细介绍了目前的测试范式应如何适应测试自主性。然后，它讨论了应如何利用敏捷和开发与运营（DevOps）原则实施新的测试范式，以最大限度地提高自主性的有效性。最后，总结了测试自主性的要点，并强调了前进的道路。此外，还包括了包括当前自主性测试细节的附录，以及其他一些有用的参考资料。

1.1 目的

本手册的目的是为测试人员提供工具、方法和见解，以自信地测试空中平台的自主性。由于自主性测试所面临的挑战的广泛性和现有测试能力的整体不成熟性，本手册的内容没有明确定义具体的最佳实践。相反，本手册概述了自主性测试的注意事项，这些注意事项需要在测试过程的每个阶段进行，以确保安全、可靠、有效的测试。本手册旨在成为一个指南针，而不是一张地图。

本手册假设读者有一些飞行测试经验和/或技术背景。自主性的测试和评估从根本上说是一个多学科的冒险；因此，本手册涉及一些成功所需的不同观点。本手册的目的不是要成为测试和评估自主性的详尽参考资料；相反，本手册的目标是为更多的调查提供一个启动点。在整个国防部有许多研究，以及大量的学术研究，本手册利用并试图在此基础上发展。此外，本手册承认不能在真空中考虑自主性测试；它提出了自主性系统的开发者和获取者需要与测试社区进行最佳整合的概念和框架。自主性测试的最终成功取决于未来的项目办公室是否注意到这本手册，并在项目的早期对测试进行适当的规划。

1.2 关键定义

自主性：一套基于智能的能力，可以对部署前没有预先编程或预期的情况作出反应，如《自主性利益共同体（COI）测试与评估》（参考文献4）所定义。自主性构成了一定程度的自给自足和自主行为（由人类代理决策），如《自主系统的七个致命神话》（参考文献5）所定义。

自主引擎：平台或系统上的硬件，承载着自主软件。

复杂系统：按照《复杂系统动力学》（参考文献6）的定义，理解各部分之间的相互作用与理解各部分的功能同样重要的一个系统。

服务：一个独立的、封装好的功能单元，通过一个定义好的接口（主要针对软件）接收输入并给出输出，如《面向服务的建模》（参考文献7）所定义。

任务：由一个或多个服务组成，在一个离散的、确定的时间段内完成一个特定的目标或行动。

信任：按照《组织信任的综合模型》（参考文献8）的定义，一方愿意在另一方的行动面前表现得很脆弱，因为他期望另一方会执行对信任者来说很重要的特定行动，而不考虑监督或控制该方的能力。信任主要建立在令人满意的可靠性和准确性的组合上。

1.3 基本假设

尽管在上一节中对自主性进行了定义，但为了本手册的目的，进一步澄清 "自主性 "的实际含义是很重要的。以下四个基本假设主要来自2012年国防科学委员会关于 "自主性在国防部系统中的作用 "的研究（参考文献9），有助于磨练 "自主性 "的含义。

1."自主性 "从根本上说是基于软件的。

2."自主性 "被认为是相对于特定的任务，在一个离散的时间间隔内，而不是针对整个系统。

3."完全自主 "系统是一个错误的说法。所有的自主性都必须在某些时候与人互动，因此被认为是一个人机联合认知系统。

4.确定和争论 "自主性水平 "对测试和评估系统是无益的，而且会产生反作用。

1.4 手册范围

本手册着重于测试和评估空域的自主性。之所以选择空域，是因为它与空军的任务相关，也因为它给测试和评估企业带来了独特的挑战，而这些挑战在其他领域并不适用。虽然所介绍的是机载自主性应用的例子，但本手册所介绍的大部分框架和工具都普遍适用于其他领域。

在本手册中，被视为被测系统（SUT）的自主性类型是那些在物理世界中的实时应用，通常被称为 "运动中的自主性"，如国防科学委员会。关于自主性的夏季研究（参考文献10）。这与 "静止状态下的自主性 "应用相对立，后者对于建立一支更具杀伤力的部队至关重要，并将在 "运动中的自主性 "系统的测试和实战中发挥重要作用。运动中的自主性 "的例子可以在智能炸弹、无人驾驶航空系统（UAS）中找到，甚至可以作为载人平台上的一个子组件（即F-16上的地面防撞系统）。确定一个系统是否构成 "运动中的自主性 "的一个有用的方法是用约翰-博伊德的 "OODA "循环来思考，该循环来自《输赢论》（参考文献11）。运动中的自主性必须：

• 观察其周围的环境，以建立一个世界观。

• 在世界观中确定自己的方向。

• 决定一个适当的反应。

• 根据该决定采取行动。

图1给出了一个层次化的视角，说明了自主性对一个平台的作用。平台执行的任务是由各种任务组成的，这些任务建立在较低层次的服务之上。当本手册中使用 "自主性 "一词时，它指的是在任务或任务层面采取的行动，这些行动是由服务促成的。在大多数情况下，这些行动目前是由人类操作员执行的。传统上，测试界并不测试或评估人类操作员，因此必须扩大测试范式，以纳入类似人类操作员的自主任务或任务的评估标准。

为了更好地理解图1，我们以压制敌方空中防御（SEAD）任务为例。对于执行SEAD的战斗机平台来说，干扰敌人的雷达是主要任务之一。此外，像空域整合、空中加油和编队飞行等任务可能都需要成功完成。而这些任务又需要大量的服务，负责操作各种有效载荷、飞机本身以及指挥和控制功能。

本手册有意避免使用机器学习（ML）和人工智能（AI）的字眼。ML和AI是实现自主性的工具；本手册中提出的策略适用于自主系统的测试，无论自主是如何产生的，也无论它如何运作。