《美国防部人工智能功能的数据验证和认证》2024最新25页slides

数据是开发和支持人工智能（AI）系统的重要组成部分，因此数据生命周期（包括收集、准备和整理）是人工智能生命周期的重要组成部分。确保数据的一致性、正确性和预期用途的代表性对于确保人工智能系统的有效性至关重要。数据验证、确认和认证（VV&A）就是为了满足这一需求。由于高质量的数据是人工智能模型的基础，因此整个美国防部人工智能功能和分析工具的普及率急剧上升，这强调了统一理解数据 VV&A 的必要性。在实践中，数据 VV&A 和相关活动通常以临时方式使用，这可能会限制支持开发和测试人工智能能力的能力。然而，现有的美国防部数据 VV&A 框架和政策适用于人工智能生命周期，并体现了对人工智能系统测试和评估的重要支持活动。我们强调了数据 VV&A 的重要性，并讨论了 DODI 5000.61 对人工智能模型及其相关数据的适用性。仅仅依靠政策中的定义会在解释和实施方面留下问题，因此讨论了一些潜在的关注点和最佳实践，包括在人工智能系统生命周期的背景下考虑数据的 VV&A，鼓励可重复性和透明度，以及利用现有框架和工具支持 VV&A。

美国防部对VV&A 数据的需求

• 目的：为模型、模拟、分布式模拟及其相关数据的 VV&A 制定政策、分配职责并规定程序。

• 适用性： 国防部各部门开发、使用、提供或管理的模型和模拟及相关数据，包括非国防部组织为支持国防部流程、产品或程序而使用的模型和模拟及相关数据。

• 政策：

  • 用于支持国防部流程、产品和决策的模型、模拟和相关数据应在其整个生命周期内进行验证和确认 (V&V)。

  • 用于支持美国防部流程、产品和决策的模型、模拟和相关数据应根据预期用途进行认证。