《揭开黑盒：军事人工智能的可预测性和可理解性》40页报告

"可预测性 "和 "可理解性 "被广泛认为是人工智能系统的重要品质。简单地说：这种系统应该做他们被期望做的事情，而且他们必须以可理解的理由这样做。这一观点代表了关于致命性自主武器系统（LAWS）和其他形式军事人工智能领域新兴技术辩论的许多不同方面的一个重要共同点。正如不受限制地使用一个完全不可预测的致命性自主武器系统，其行为方式完全无法理解，可能会被普遍认为是不谨慎的和非法的，而使用一个完全可预测和可理解的自主武器系统--如果存在这样的系统--可能不会引起许多核心的监管问题，这些问题是目前辩论的基础。

这表明，最终为解决致命性自主武器系统和其他形式的人工智能在军事应用中的使用而采取的任何途径，都必须考虑到有时被称为人工智能的 "黑盒困境"。事实上，遵守现有的国际人道主义法（IHL），更不用说假设的新法律，甚至可能取决于具体的措施，以确保致命性自主武器系统和其他军事人工智能系统做他们期望做的事情，并以可理解的理由这样做。然而，在关于致命性自主武器系统和军事人工智能的讨论中，可预测性和可理解性尚未得到与如此重要和复杂的问题相称的那种详细介绍。这导致了对人工智能可预测性和可理解性的技术基础的混淆，它们如何以及为什么重要，以及可能解决黑匣子困境的潜在途径。

本报告试图通过提供有关这一主题的共同知识基线来解决这些模糊不清的问题。第1节和第2节解释了说一个智能系统是 "可预测的 "和 "可理解的"（或者相反，是 "不可预测的 "和 "不可理解的"）的确切含义，并说明有各种类型的可理解性和可预测性，它们在重要方面有所不同。第3节描述了可预测性和可理解性将成为致命性自主武器系统和其他军事人工智能在其开发、部署和使用后评估的每个阶段的必要特征的具体实际原因。第4节列出了决定每个阶段所需的适当水平和类型的可预测性和可理解性的因素。第5节讨论了为实现和保证这些水平的可预测性和可理解性可能需要的措施--包括培训、测试、标准和可解释人工智能（XAI）技术。结论是为政策利益相关者、军队和技术界提出了进一步调查和行动的五个途径。

本报告的主要要点

人工智能的不可预测性有三种不同的意义：一个系统的技术性能与过去的性能一致或不一致的程度，任何人工智能或自主系统3的具体行动可以（和不能）被预期的程度，以及采用人工智能系统的效果可以被预期的程度。
可预测性是一个系统的技术特征、系统所处的环境和对手的类型以及用户对它的理解程度的函数。
可理解性是基于一个系统内在的可解释性以及人类主体的理解能力。一个智能系统可以通过多种方式被 "理解"，并不是所有的方式都建立在系统的技术方面或人类的技术素养之上。
可预测性不是可理解性的绝对替代品，反之亦然。高可预测性和高可理解性的结合，可能是安全、谨慎和合规使用复杂的智能或自主军事系统的唯一最佳条件。
可预测性和可理解性是自主武器和其他形式的军事人工智能的必要品质，这在其整个开发、使用和评估过程中有着广泛的原因。
这些系统中可预测性和可理解性的适当水平和类型将因一系列因素而大不相同，包括任务的类型和关键性、环境或输入数据的种类，以及评估或操作系统的利益相关者的类型。
在军事人工智能系统中实现并确保适当的可预测性和可理解性的潜在方法可能会涉及与培训、测试和标准有关的工作。建立XAI的技术研究工作也提供了一些希望，但这仍然是一个新的领域。