《降低人工智能对军事决策优势的风险》2023最新39页报告

美国战略家认为，人工智能(AI)有可能实现更好、更快的决策，这在未来的军事冲突中是决定性的。机器学习应用将越来越多地影响政治和军事领导人对战略环境的看法，权衡风险和选择，并判断他们的对手。但是，将关键的人类决策过程暴露在人工智能系统的中会有什么风险？

要获得人工智能在决策方面的优势，首先需要了解其局限性和陷阱。人工智能系统根据数据模式进行预测。总是有一些意外行为或失败的机会。现有的工具和技术试图使人工智能对失败更加稳健，往往会导致性能上的权衡，解决了一个问题，但可能会使另一个问题恶化。人们对人工智能的脆弱性和缺陷的认识不断提高，但也需要在现实的部署背景下对技术故障的潜在后果进行更深入的分析。

本简报研究了直接或间接影响决策的人工智能系统故障如何与战略压力和人为因素相互作用，从而引发危机或冲突的升级：

• 纳入人工智能的进攻行动或干扰对手的人工智能系统可能导致不可预见的系统故障和连带效应，引发意外的升级。
• 不安全的、训练不足的或应用于错误类型问题的人工智能系统可能为决策过程注入不良信息，导致意外升级。
• 发现人工智能系统被破坏，可能会对关键能力的可靠性或生存能力产生不确定性，如果冲突似乎迫在眉睫，会促使决策者故意升级。

这些情景揭示了一个核心困境：决策者希望使用人工智能来减少不确定性，特别是当涉及到他们对战场的认识，了解对手的意图和能力，或了解他们自己抵御攻击的能力。但通过依赖人工智能，他们在人工智能系统技术故障的可能性和后果方面引入了一个新的不确定性来源。

有效利用人工智能需要以一种有谨慎的和有风险的方式来平衡优势与局限。没有办法保证概率性人工智能系统会完全按照预期行为，也没有办法保证它能给出正确的答案。然而，军队可以设计人工智能系统和依赖它们的决策过程，以减少人工智能失败的可能性并控制其后果，包括通过：

• 为决策环境中使用的人工智能系统定义一套特定的任务属性、标准和要求，如信任度量和保障措施，以检测妥协或突发属性。
• 规定人工智能在决策中的使用，将人工智能应用于非常适合的狭窄问题，同时保留人类判断问题，如解释对手的意图；并考虑在某些领域完全排除人工智能。
• 尽可能地让高级决策者参与他们所依赖的系统的开发、测试和评估过程，并让他们了解人工智能的优势和缺陷，以便他们能够识别系统的故障。

美国应继续带头制定负责任地开发和使用人工智能的全球标准，采取步骤展示某些可靠性，并尽可能地鼓励其他国家采取类似的预防措施：

• 澄清为限制支持决策的人工智能系统的风险而实施的做法和保障措施。
• 开展国际合作，制定互利的技术保障措施和最佳做法，以减少人工智能灾难性故障的风险。
• 承诺在使用包含人工智能能力的进攻性行动和针对人工智能系统的行动时保持克制，因为这些行动存在重大升级风险。