兰德发布《评估人工智能系统在情报分析中的有效性》，109页pdf

美国军方和情报界对开发和部署人工智能 (AI) 系统以支持情报分析表现出兴趣，这既是利用新技术的机会，也是应对不断激增的数据过剩的解决方案。然而，在国家安全背景下部署人工智能系统需要能够衡量这些系统在其任务背景下的表现。

为了解决这个问题，作者首先介绍了人工智能系统在支持智能方面可以发挥的作用的分类法——即自动分析、收集支持、评估支持和信息优先级——并提供了对人工智能影响驱动因素的定性分析。每个类别的系统性能。

然后，作者挑选出信息优先系统，这些系统将情报分析师的注意力引导到有用的信息上，并允许他们忽略对他们无用的信息，以进行定量分析。作者开发了一个简单的数学模型来捕捉此类系统的错误后果，表明它们的功效不仅取决于系统的属性，还取决于系统的使用方式。通过这个练习，作者展示了人工智能系统的计算影响和用于预测它的指标如何用于描述系统的性能，以帮助决策者了解其对情报任务的实际价值。

报告指出，目前存在多种描述人工智能系统性能的标准方法，包括通常被称为“精确度”、“召回率”和“准确率”等指标，但这些标准并未提及该系统对其所支持任务的影响。在准确率与情报任务成功之间没有明确关联的情况下，只能依据情报任务的完成水平对系统有效性作出临时判断。基于此，报告作者将人工智能系统在情报分析过程中可发挥的功能分为四大类，分别评估每项功能的错误输出可能会对结果产生的影响，从而理解“人工智能系统性如何影响情报分析的有效性”。

按照情报周期的组织过程，报告将人工智能系统可在该过程中发挥的作用分为四大“系统功能模块”，分别是提供评估支持、自动分析、优先信息和收集支持。报告为每个功能模块设计了函数模型，以详细推演其在情报过程中的作用。

通过对“从任务到系统”的追溯性推演评估，报告得出两个一般性结论：首先，在部署人工智能系统前，制定与符合实际情况优先级的情报监测指标十分重要，这一工作应以评估系统部署的实际影响力为指导；其次，系统的有效性不仅取决于系统属性，还取决于如何使用。

研究问题

• 人工智能系统的性能衡量指标如何与情报分析的有效性相关联？
• 人工智能如何用于支持智能过程，既反映在真实系统的开发中，也反映在可能尚未开发的假设系统中？
• 研究人员如何对智能过程进行建模，以确定位于该过程中的人工智能系统如何影响它？
• 存在哪些衡量 AI 系统性能的指标？

主要发现

使用与实际优先级不匹配的指标会掩盖系统性能并阻碍对最佳系统的明智选择

• 度量选择应该在系统构建之前进行，并以估计系统部署的实际影响为指导。

有效性，以及衡量它的指标，不仅取决于系统属性，还取决于系统的使用方式

• 决策者需要考虑的一个关键因素是，除了用于构建系统的资源之外，还有多少资源用于任务。

建议

• 从正确的指标开始。这需要详细了解 AI 系统的使用方式，并选择反映该使用成功的指标。
• 定期重新评估（和重新调整）。由于系统周围的世界在部署后继续发展，因此系统评估必须继续作为定期维护的一部分。
• 系统设计人员拥有一套完善的衡量 AI 系统性能的指标，熟悉这些传统指标将在设计新系统或维护现有系统的过程中简化与专家的沟通。
• 进一步研究评估人工智能系统有效性的方法。