军事人工智能风险：致命自主武器

公众对全球灾难性风险（GCR）的讨论中，军事技术始终占据重要位置，这一点应该并不令人惊讶。1无节制的全球战争的前景一直是人们对全面社会灾难最古老、也最普遍的设想之一。冲突始终能够摧毁单个社会；在现代，科技和科学进步逐渐加大了国家军队以及可能的其他实体施加灾难性暴力的能力。

拥有这种能力的技术有很多，人工智能（AI）在近年来变得更加引人注目。越来越多来自不同领域的专家开始关注AI技术在战争中的应用，考虑这些技术如何带来风险，甚至新的GCR。尽管军事AI的技术发展和对其影响的研究仍处于初级阶段，但在过去的十年中，两者都取得了显著进展。最引人注目的是，致命自主武器（LAWS）的开发和使用引发了一场激烈的辩论，涉及学术和政治领域。

然而，实际上，AI技术在军事中的应用远远超出了有争议的“杀人机器人”——它有着多样化的用途，从后勤到网络战，从通信到培训。

预计这些应用可能会为社会带来许多新的风险。在与国防相关的系统中应用AI的趋势不断增长，创造了新的技术失败或操作错误的可能点；这可能导致在决策环境中产生未预期的大规模结构性变化，或可能负面影响到战略稳定性的相互认知，加剧了全球性灾难性影响升级的可能性。即便在不那么直接致命的角色中，比如情报收集或物流，人们仍然担心使用AI系统可能间接导致全球灾难性风险。最后，与未来更有能力的AI系统的发展相关，比如通用人工智能（AGI）存在可能的全球灾难性风险；虽然这些最终的潜在风险并非本章直接关注的焦点，但应该注意，这些风险在军事环境中可能特别重要，这需要谨慎而非自满。

尽管全球正在进行的努力是为了在国家安全事业中利用更多的AI技术，目前对于识别和减轻来自军事AI的风险的努力仍然处于萌芽阶段。在技术层面，目前AI技术社区面临的最紧迫的问题之一是任何AI系统都容易遭受一系列性能故障、设计缺陷、意外行为或对手攻击。5同时，许多军队都在花费大量时间和资源将AI技术部署到一系列操作环境中。尽管如此，许多人在他们的采购和军事AI的内部开发程序中仍然缺乏明确的伦理或安全标准。6大多数积极开发和部署此类系统的国家行为者也没有同意限制在国防中使用AI的硬性界限，或参与与潜在对手建立信任措施。

显然，军事AI的发展可能会显著影响到该领域全球灾难性风险的潜力，使得探索这一技术进展及其可能的影响对全球灾难性风险社区至关重要。现在，AI技术已经开始在军队中看到真实世界的应用，我们比以往任何时候都更需要详细了解军事AI系统如何可能被视为全球灾难性风险，或它们如何可能成为军事全球灾难性风险的相关贡献者。特别是从全球灾难性风险的角度来看，需要更多的关注来研究AI与潜在破坏性与核武器一样大的军事技术交汇的实例，这可能会产生灾难性的结果。为了使我们对这一日益复杂的风险格局有更加一致的理解，我们探讨了已有的文献，并提出了进一步的研究途径。

我们的分析如下：在回顾过去的军事全球灾难性风险研究和军事AI的最近相关进展之后，本章将大部分焦点都放在了致命自主武器和AI与核景观之间的交集上，这两者目前在现有的学术研究中都得到了最多的关注。首先，我们研究了致命自主武器，评估了它们是否可能构成全球灾难性风险，并论证了尽管这些系统令人担忧，但考虑到目前和预期的生产能力及相关成本，它们在短期内还不太可能成为全球灾难性风险。然后，我们深入探讨了军事AI和核武器的交集，我们认为这有着更高的全球灾难性风险潜力。我们研究了核战争的全球灾难性风险潜力，简要讨论了何时、何地以及为什么它可能导致全球灾难性风险。此外，在通过识别可能也独立提高核战争风险的相关全球趋势，为我们提供了最近的地缘政治背景之后，本章将其焦点转向了在核武器和AI交汇处出现的特定风险的现有研究。我们概述了六个假设场景，其中使用AI系统在、周围或反对核武器可能会增加核升级的可能性，并导致全球灾难。最后，本章总结了未来研究方向的建议，并为可以更全面和多学科理解来自今天和未来军事AI的潜在风险制定了研究议程。