《评估和管理核武器系统中人工智能的益处和风险》核威胁倡议协会

本文研究了人工智能（AI）在近期至中期内可能在核武器系统中的应用，并评估了其益处、风险和战略稳定影响。分析表明，人工智能在核武器系统中的应用既不全是好事，也不全是坏事，需要根据具体的应用和地缘政治环境来考虑。然而，由于人工智能在核武器系统中的实施似乎是不可避免的，随着技术的成熟和国际社会对战略稳定影响的更好理解和讨论，建议现在采取一些行动来实现利益和管理风险。

执行总结

在大多数拥有核武器的国家正在使其核武库现代化或多样化的时候，人工智能（AI）在军事应用方面的重大技术进步表明，人工智能将不可避免地被探索用于核武器系统。然而，伴随着巨大的利益，相关的风险和对战略稳定的影响也随之而来。

核指挥、控制和通信（NC3）以及自主核武器系统，两个应用领域被认为最有可能在近期和中期内利用人工智能的进步。本文设想了人工智能在这两个领域可以发挥的具体功能，并分析了潜在的积极和消极后果。

在NC3中，人工智能可被用于加强可靠的通信和预警系统，补充决策支持，或实现自动报复性发射。其影响有很大的不同。用人工智能加强通信可靠性和决策支持工具具有可识别的益处，风险相对较低，而且可能是稳定的，尽管它仍然需要更多的技术研究以降低风险，以及对稳定影响进行更深入的策略探索，以避免挑起军备竞赛。然而，人工智能应用于自动报复性发射是高度危险的，应予以避免。

对于自主核武器系统来说，人工智能与传感器和其他技术都需要复杂的能力，如障碍物探测和机动性，自动目标识别，以及更远的距离和徘徊能力。今天的技术和算法在可靠地识别物体、实时响应、在没有GPS的情况下规划和控制路线以及防御网络攻击方面面临挑战。鉴于技术的不成熟，完全自主的核武器系统是非常危险的。这些风险，加上这些武器可能造成的不稳定，表明在技术得到更好的理解和证明之前，禁止完全自主系统是有道理的。

对于每个拥有核武器的国家来说，人工智能的具体应用和纳入时机将取决于生产或现代化的时间表、感知到的好处和需求、技术能力和投资水平，以及风险接受程度。为了鼓励安全应用，并在人工智能逐渐被引入核武器系统时帮助尽量减少风险和对战略稳定的负面影响，建议如下：

• 美国国家安全事务应优先考虑研究低技术风险的方法和人工智能在高后果应用中的故障安全协议。只要不危及国家安全，这些研究应公开发表。此外，应考虑与国际合作伙伴进行合作研究，并鼓励其他拥有核武器的国家进行具有相同目的的研究。

• 拥有核武器的国家应该就人类操作者在核武器系统中的作用和禁止或限制在其核武器系统中使用人工智能的问题采取政策并发表声明。

• 国际社会应增加关于在核武器系统中使用人工智能的影响的对话，包括人工智能如何影响战略和危机稳定，并探索国际合作或制定国际规范、标准、限制或禁令可能有益的领域。

• 除了分析和建议之外，本文还对与核武器系统相关的人工智能技术进行了总结，为那些还不太了解人工智能的人提供背景。

引言

人工智能（AI）被广泛认为是革命性变革的催化剂，其应用范围包括金融、交通、医疗保健和战争等多个领域。在这些领域和其他领域，技术发展的速度既让人对AI的益处充满热情，也让人对可能出现的末日情景感到震惊。 新人工智能技术的快速发展和实施也迫使人们建立国家人工智能道德标准和政策，试图实现不断进步所带来的好处，同时阻止负面的社会后果。人工智能的军事应用正在引起人们的特别关注，一些国家已经开始公开讨论这一领域的探索政策。同时，联合国已经就战场上的致命自主武器系统举行了会谈，约有30个缔约国呼吁制定禁止这些系统的条约。

今天，人工智能的军事应用包括情报收集和分析、后勤、网络战、信息战、指挥和控制以及自主或半自主车辆。许多这些人工智能军事应用旨在提高枯燥、脏乱或危险任务的效率。随着人工智能的发展，其在军事上的应用可以通过实现自主车辆群等概念来彻底改变战争。

由于人工智能有广阔的应用领域，美国、俄罗斯和中国都认为人工智能的军事潜力非常重要，这并不奇怪，尽管具体的优先事项有些不同。美国军方看重人工智能以保持总体技术优势。俄罗斯总统普京曾说，谁领导人工智能，谁就会 "成为世界的统治者"，他主张俄罗斯将人工智能用于自主机器人和车辆。中国军方一直在追求人工智能提供的超越美国优势的机会，并有一个通过广泛的 "智能化 "战争和军民融合来超越美国的战略。俄罗斯和美国军队在区域军事交战中积极尝试使用人工智能，而中国还没有在战场上使用人工智能。联合国在2019年举行的 "人工智能军事化 "研讨会上得出结论，人工智能军事努力对国际和平与安全的影响仍不清楚，这种不确定性产生了恐惧，加剧了对风险的看法。

人工智能技术与军事和商业应用有关，包括常规武器和核武器。由于潜在的后果很严重，人工智能在核武器系统中的应用似乎进展较慢，或者可能比其他军事应用更隐蔽。然而，随着人工智能的军事应用与核武器系统的现代化和多样化同步发展，人工智能应用于核武器系统的潜力可能会越来越大。

人工智能在商业和常规武器应用中的进步和成熟为核武器系统的潜在应用提供了启示。需要仔细研究核武器系统的具体潜在应用，以了解其益处、风险和稳定性影响，从而指导未来的技术和政策考虑，并启动有意义的国际对话。一些研究报告已经发表，概述了人工智能在核武器系统中的潜在应用，核威胁倡议协会（NTI）已经发表了一篇关于将数字技术，包括人工智能，纳入美国核武器系统的安全和政策影响的论文。它为技术和政策界提供了建议，以便在进一步开发和实施人工智能在核武器系统中的应用之前加以考虑。

该文件分为三个部分：

• "与核武器系统应用相关的人工智能特征"描述了可能提供最大利益或引入最大风险的特征。

• "人工智能在核武器及其作战系统中的应用"涉及人工智能在核武器系统中的潜在应用，是本文的核心。重点是在近期（0-5年）和中期（5-10年）可以想象的应用，特别是核指挥、控制和通信（NC3）和自主权。在与支持核企业相关的领域还有其他潜在的人工智能应用，包括战争游戏和规划、物理安全、导弹防御以及核扩散和军备控制协议监测。这些都被简单地讨论了，但不是本文的重点。

• "建议"确认了人工智能在核武器系统中的预期使用，以及保持低核风险和维持或加强核战略稳定的愿望。

作者

吉尔-赫鲁比于2018年11月至2019年11月在NTI担任首届山姆-纳恩杰出研究员，并于2019年11月至2021年7月继续作为杰出研究员在NTI兼职工作。2021年7月，她被确认为能源部负责核安全的副部长。2015年7月至2017年5月，赫鲁比担任桑迪亚国家实验室主任，这是她在桑迪亚从事核武器、核不扩散、生物防御、国土安全和科技领域工作34年的巅峰之作。

这篇论文是在赫鲁比担任萨姆-纳恩杰出研究员时发起的，并在她担任杰出研究员期间完成。除了在NTI的工作之外，从2017年到她被确认为副部长之前，赫鲁比在国家科学院国际安全和军备控制委员会中做出了贡献，包括主持研究 "核扩散和军备控制监测、探测和核查。国家安全优先事项（临时报告）"。此外，她还在多个委员会和咨询委员会任职，是工程界女性的代言人。

赫鲁比拥有普渡大学的学士学位和加州大学伯克利分校的硕士学位，均为机械工程专业。

M. Nina Miller在2019年夏季和秋季期间在NTI实习。她目前是麻省理工学院安全研究和国际关系专业的博士生。她的研究重点是安全、技术和政治心理学的交叉问题，包括战略决策和自主武器。米勒拥有威廉玛丽学院和圣安德鲁斯大学联合学位课程的国际关系文学士（国际荣誉）学位，她以一级荣誉的成绩毕业。