《人工智能开发的严谨度》美国海军空战中心武器部 2022最新71页报告

2022 年 9 月 25 日 专知

在美国国防部，人工智能（AI）/机器学习（ML）的整合目前是以现有项目的升级或新项目的收购形式进行的。怎么知道这些AI/ML支持的系统会按照预期的方式运行？为了做出这个判断，与其他传统的软件开发/采购项目相比，AI/ML产品开发/采购需要一个独特的评估过程。作为回应，美海军军械安全和保障活动（NOSSA）资助了以下研究，以调查独特的政策、指导方针、工具和技术，以评估AI/ML关键功能中的安全问题。在这项工作中，开发了14项关键的严谨度（LOR）任务，并在五个阶段中应用：（1）需求，（2）架构，（3）算法设计，（4）算法代码，以及（5）测试和评估（T&E）。14项LOR任务涉及最佳实践讨论、定义、测量、论证文件和AI/ML系统特有的危险分析格式。这14项LOR任务还明确了为什么AI/ML软件开发需要采购界的特别考虑。此外，这项研究有可能影响采购界如何定义需求、创建架构、产生AI/ML算法设计、开发AI/ML算法代码以及执行T&E。在开发 "采购沙盒"的过程中，跨越五个发展阶段的14项LOR任务的需求变得很明显，该沙盒研究了部署AI/ML自主系统的路线规划者，以及让这些系统交付软件包，重点是评估关键功能行为的安全性。该沙盒是使用国防部架构框架（DoDAF）和统一建模语言（UML）图设计的，其中包含了各种AI/ML技术。当面临这种程度的复杂性和/或不确定性时，14项LOR任务代表了一组有凝聚力的问题/考虑因素，为应对当前海军AI/ML的采购问题提供了重点。这些指南还为涉及安全的组织，如NOSSA和适航性，以及包括项目经理和系统工程师在内的采购专业人员提供了一个分步骤的 "如何 "评估方法，以确保创造高质量的人工智能嵌入式产品。

该报告为包含人工智能功能的系统的采购和开发提供了详细的指导方针。该准则允许用户在作战部署的挑战中对人工智能功能的行为建立不同程度的信心。信心的程度决定了14个LOR任务中的哪一个在五个阶段中被应用。每个LOR任务提供了问题和/或考虑因素，使开发人员能够客观地评估人工智能/ML功能的安全性和可靠性。当审查每个LOR任务时，LOR任务编号（和相关阶段）后面的 "参考编号 "是指用于开发问题和/或考虑因素的文件中的相应标识（ID）。这四份文件的标题分别是：（1）操作视图（OV），（2）系统视图（SV），（3）数据集设计，和（4）算法设计。LOR任务 "参考ID "命名法的例子是Ops1、Sys1、Alg1和Dat1。在这些例子中，每个ID与四个文件中的一个有关，其中数字 "1 "表示文件中描述的第一个LOR任务。在每个文件中使用 "Ref ID "支持对研究的可追溯性，包括数学。