最近，机器学习（ML）被用于开发自主武器系统（AWS），这给地缘政治稳定和人工智能研究领域的自由交流带来了严重风险。与超智能人工智能（AGI）带来的风险相比，这一话题近来受到的关注相对较少，但对技术发展进程的假设要求较低，因此是一个更接近未来的问题。在许多战场上，人工智能已经可以取代人类士兵，从而降低发动进攻性战争的前期人力成本和政治成本。在同级对手的情况下，这增加了 "低强度 "冲突的可能性，而这种冲突有可能升级为更广泛的战争。对于非同级对手，这将减少国内对侵略战争的反弹。这种效果的产生与使用军事人工智能的其他伦理问题（如平民伤亡风险）无关，也不需要任何超人的人工智能能力。此外，AWS 的军事价值还引发了人工智能推动的军备竞赛以及对人工智能研究施加国家安全限制的误导。本文的目标是提高公众和人工智能研究人员对军事技术中完全或近乎完全自主所带来的近期风险的认识，并提供监管建议以降低这些风险。呼吁人工智能政策专家，特别是国防人工智能界在开发和部署 AWS 时保持透明和谨慎，以避免在此强调的对全球稳定和人工智能研究的负面影响。
表 1. 这项工作中提出的 AWS 问题和政策建议概览。
随着 GPT-4 和稳定扩散等强大的人工智能生成模型的兴起，以及机器人和强化学习等领域的不断进步，专家和公众对赋予人工智能过多权力的担忧与日俱增。迄今为止，学术界的担忧主要集中在网络安全、生物武器、虚假信息、欺诈和假想的流氓人工智能（AGI）等领域的威胁上（Future of Life Institute, 2023; Bengio, 2023）。尽管存在这些普遍关注的问题，但人们对军事和国防工业集团最近的具体发展关注相对较少，这些集团已经开始部署下一代人工智能制导的自主武器系统（AWS）。传统上，AWS 标签下的武器要么是遥控操作（但有人工智能辅助），要么只是在非常狭窄的范围内自主操作。然而，正在开发的新型完全自主（无人）AWS 消除或减少了人类在控制和决策过程中的作用，其目标是将人类从现役战场上大规模移除。例如，五角大楼的 "复制者"（Replicator）人工智能武器 "群 "计划承诺，在未来几年内，战争将急剧转向高度自主和合作的人工智能单元（格林沃尔特，2023 年）。这些新的先进人工智能和机器学习（ML）武器系统中，有许多已经在乌克兰战争中进行了首次实际部署，而且许多国家正在为各军种进行设计（Sharma，2022 年；Greenwalt，2023 年；Pfaff 等人，2023 年）。
目前有关 AWS 使用伦理的讨论主要集中在远程自主战争中保持人类在回路中，以便只有人类才能做出致命决策，同时接受远程战争可以拯救生命的观点（Riesen，2022 年；Pfaff 等人，2023 年）。然而，我们认为，将人类从战场中移除会带来一些根本性的问题。人类的 "地面之靴 "可以表示对遵守战争规则的承诺，改善占领的人道主义方面，最重要的是，维持侵略国的战争人力成本，防止无休止的战争状态在政治上可行（Trapp，2018）。我们担心，全球军队最近对 AWS 的拥护会导致未来战争更加频繁，即使 AWS 相对于人类士兵减少了平民伤亡，这种战争也会对全球稳定造成负面影响。这种以 AWS 为中心的新战争模式将得到民用和军用人工智能研究日益融合的支持，这将对我们领域的研究和信任产生破坏性影响。因此，我们撰写了这篇文章，旨在让人工智能研究人员意识到 AWS 发展的迅猛速度和采取行动的必要性，并提供社区和政策建议，以帮助防止这种可能出现的未来。
需要明确的是，这种能够在没有有意义的人为控制的情况下选择和摧毁目标的 AWS 所涉及的伦理问题相当严重，之前的研究已经对此进行了详细讨论（Scharre，2018；Blanchard & Taddeo，2022；Brown，2023）。在过去的二三十年里，许多人呼吁完全禁止这些系统和/或将其纳入国际条约的管辖范围（Russell，2023；Bode 等人，2023）。我们同意，由于使用中的道德风险以及我们在此强调的问题，道德理想是不开发和部署此类系统。不过，在本文中，我们将重点讨论实现中间立场的方案： 尽管从道义上讲应该禁止，但 AWS 并没有被禁止（Geist，2016 年），而是设法遵守基本的军事伦理，与常规战争相比不会增加平民伤亡（Scharre，2018 年；Brose，2020 年；Riesen，2022 年）。这种不增加战争影响的假设要实现并非易事--可能许多 AWS 都无法实现，但它为我们讨论 AWS 的负面影响提供了最保守的出发点。2024 年，主要军事强国已承诺将自主武器系统作为其武装力量的核心组成部分，因此讨论全面禁止 AWS 的时机似乎已日益成为过去（Greenwalt，2023 年；Klare，2023 年；Brose，2020 年）。现在需要讨论的中心是负责任地开发和扩散全球军队已经在开发和使用的快速改进的 AWS 系统。
军方的官方声明和宣布的研发项目清楚地表明，近期和长期的 AWS 发展方向都是将人类士兵从直接作战角色中解放出来，以减少伤亡和提高战斗力（Greenwalt，2023 年；Pfaff 等人，2023 年；Bachmann & Grant，2023 年）。虽然这些目标单独来看是合理的，但如果公众对 AWS 的快速发展和应用缺乏关注和透明度，人类就有可能梦游到全球大国之间的 AWS 军备竞赛中。我们将在不久的将来看到这些风险。俄罗斯等已将 2028-2030 年作为其军队开始大规模自动化的目标，虽然美国将更早开始实质性部署，但该国正在规划一个漫长的转型时间表（Sharma，2022 年；Greenwalt，2023 年；Kania，2020 年；Warren & Hillas，2022 年）。
鉴于这些先验，本文认为，由于高能力AWS降低了与冲突发起和升级相关的人力成本，它们也给全球地缘政治稳定带来了巨大风险。重要的是，即使平民伤亡和附带损害减少了，但 AWS 的能力越强，这种影响就越严重，而且不能通过简单地改进相关的 ML 系统来解决--需要采取深思熟虑的政策行动。
在军事实力悬殊的大国之间的冲突中，使用重型 AWS 部队进行入侵或干预在政治上比使用全人类部队更容易，因为侵略方的死亡人数会更少（Moreau，2011 年；Greenwalt，2023 年）。然而，如果发生冲突的次数增加，减少单次冲突中的人员伤亡可能会得不偿失。事实上，上个世纪的情况表明，当一种新军事技术的主导地位导致地区或全球霸权时，并不总能转化为更大的稳定性，反而会增加低强度冲突和恐怖主义（Benvenisti, 2004; Drezner, 2013; Hegre, 2014）。重型陆军在战场上的人员极少，这可能导致恐怖主义、暗杀、袭击平民以及其他超越传统战场的方式的增加（Kwik，2022）。这些令人憎恶的方法为那些缺乏AWS的弱国提供了一种途径，使其可以通过战场伤亡来威慑或报复那些部署了重型AWS的国家（Moreau，2011 年）。
此外，作为 "地面部队 "的替代品，自动武器系统对国内稳定和代议制政府构成威胁，除非有周密的保障措施防止此类系统被专制使用或破坏（Ams，2023 年）。此外，人类战场存在的减少使得新闻透明度和平民对冲突的监督变得更加困难，也使得向平民领导层和公众隐瞒战争罪行和战争影响变得更加容易（Lin-Greenberg，2020 年；Ams，2023 年）。
除了 AWS 对全球稳定的影响外，AWS 对战争的重要性还可能对民用人工智能研究产生重大负面影响。AWS 将成为一项革命性的军事技术，就像核武器、机械化战争和历史上的其他技术一样，但在 AWS 扩散的难易程度和对民用技术发展的影响方面存在重要差异（Stern，2023 年；Johnson，2020 年；Laird，2020 年；Wong 等人，2020 年）。施耐德（Schneider）的最新研究认为，当霸权的基础是依赖于稀缺或受控资源的技术时，能力/脆弱性悖论（Schneider，2019 年）--即霸权力量创造稳定--这一普遍的军事逻辑就会大错特错。就 AWS 而言，这些关键资源是人工智能专家和知识、获取相关大数据的途径以及半导体制造--所有这些历来都由少数几个国家主导（Chu，2023 年；Daniels，2019 年；Khan 等人，2021 年；Farrell & Newman，2022 年；Chahal 等人，2020 年）。虽然这些资源在全球范围内越来越容易获得，但目前拥有优势的政府很可能会试图通过防止其扩散来确保这一优势。因此，我们很可能会看到人工智能领域的出口限制、出版监督和编辑以及知识区隔的增加（Bengio，2023；Rickli & Ienca，2021；Warren & Hillas，2020）。
从长远来看，我们可能会看到人工智能资源的处理方式类似于工业化战争出现以来石油资源助长冲突的方式（Schneider，2019）。事实上，我们从当前的事件中可以看出，这种被误导的想法已经开始蔓延（Templeman & Mastro, 2023; Klingler-Vidra, 2023; Triolo, 2023），一些军队已经在寻求利用民间人工智能专家来加速国内亚博体育手机客户端的发展（Pfaff et al.）
为了减少和预防这些结果，人工智能研究人员、政策制定者和公众都需要采取行动。下面，我们将在第 4 节和表 1 中提出几项政策和行动建议，并在此简要回顾其中的亮点。首先，避免由 AWS 引发冲突的最佳方法是各国避免开发或部署独立运行而非与人类合作的 AWS，尤其是在大规模或长期冲突中。其次，国际社会需要就AWS的自主水平、哪些水平可以接受或不可接受以及在什么情况下可以接受等问题达成共识。第三，AWS 的能力和实际使用中的人类监督水平亟需透明--"环内有人 "正在成为武器制造商和军方用来向公众保证的一个毫无意义的短语。如今，"人在回路中 "有可能从意味着亲手遥控转变为自动瞄准，即人类按下 "开始 "按钮，但对 AWS 正在做什么或为什么这样做却知之甚少（Bode & Watts，2023 年；Bode 等人，2023 年；Boys，2023 年；Abraham，2024 年）。第四，世界各地的大学和公司必须划清界限，并公开宣布在 AWS 相关研究中，可以接受何种程度的军民重叠与合作（D'Agostino，2024 年）。
本文其余结构如下： 第 2 节讨论 AWS 目前的发展和部署状况，以及近期可能的发展方向。第 3 节讨论限制 AWS 扩散为何困难重重，以及限制获取尖端硬件和人工智能专业技术以防止其扩散的无效性。第 4 节讨论了几种替代方法，以减轻高级 AWS 带来的风险，而不是全面禁止。
自主武器系统（AWS）现状
在过去的一个世纪中，机械化、遥控和半自动战争武器得到了长足的发展，这在其他著作中也有广泛的论述（Scharre，2018；Work，2021）。然而，在过去的 5-10 年间，真正的自主武器系统取得了前所未有的进展，并被广泛接受，这些系统越来越能够在极少或没有人类监督的情况下猎杀和攻击目标。在本节中，我们将回顾这些真正自主（即无人驾驶、无乘员）的海陆空武器系统的现状，以提供 AWS 可能的发展轨迹。请注意，我们省略了对外空 AWS 的讨论，因为目前公开的信息太少（van Esch 等人，2017 年）。此外，据我们所知，还没有任何工作以最新的方式全面回顾了各作战领域的 AWS 类型。目前的主要综述只集中于一个军种的 AWS 进展，和/或没有包括这一快速发展领域的最新进展（Sharma，2022 年；Castillo，2022 年；Longpre 等人，2022 年；Bode & Watts，2023 年）。
需要注意的是，在本文中不讨论人工智能对网络战的影响，因为这是一个值得进一步研究的复杂课题，与直接致命的 AWS 相比，其影响截然不同。尽管如此，这是一个快速发展的战争领域，俄罗斯等都宣布将其作为军事发展的主要课题（Fedasiuk，2021 年；Thornton & Miron，2020 年；Murdick 等人，2021 年；Takagi，2022 年）。
2.1 机载AWS
最成熟且经过实战检验的AWS类型之一是隐蔽弹药（LMs）（Bode & Watts, 2023）。闲逛弹药包括多种设计，但都是一次性使用的无人空中作战单元，可以悬停或盘旋，执行探测和瞄准，然后自主发射（坠毁）到装有致命有效载荷的目标上。通常情况下，LM 在发射/起飞后不需要人的控制或监督，而是自主执行预先编程的任务。大约在 2015 年之前，主要的作战 LM 单元是以色列的 "哈比"（Scharre，2018；Scharre & Horowitz，2015），它可以自主探测并摧毁发射前不知道其精确位置的区域内的雷达目标，如果没有发现此类目标，还可以返回基地重新使用。
从那时起，LMs 的数量迅速增加，在 16 个国家至少有 24 种不同规模和复杂程度的型号，这些系统所使用的人工智能系统的能力也大大提高（Bode & Watts，2023 年）。最令人担忧的是，LMs 的目标范围已从雷达系统扩展到装甲车辆，甚至特定的人类人员，这些人员可以通过深度学习和面部识别来识别并锁定，无需操作员参与。土耳其开发的 "卡古-2 "是具备这种能力的最重要系统之一，曾部署在利比亚战场上（Longpre 等人，2022 年；Bode & Watts，2023 年）。其他著名型号，如拉斐尔 "尖峰萤火虫"（Spike Firefly）和 IAI "罗滕 L"（Rotem L）都针对城市环境中的目标瞄准进行了优化，至少还有 14 个型号的规格表明它们可以自主瞄准、跟踪或执行单个人类目标（Bode & Watts，2023 年）。乌克兰和俄罗斯都在当前的战争中大量部署了不同复杂程度和自主性的 LMs（Bode & Watts，2023 年；Cotovio 等人，2024 年）。值得注意的是，乌克兰军方前总司令最近强调，长程导弹和反长程导弹防御（如干扰）对其战争努力至关重要（Zaluzhnyi，2023 年）。他还强调，俄罗斯的 "柳叶刀 "LM 使用西方制造的 Nvidia Jetson TX2 ML 计算模块自主跟踪目标，特别难以防御（Zaluzhnyi，2023 年；Faragasso，2023 年）。评估 LM 的一个主要问题是，政府和制造商往往对 LM 人工智能瞄准系统的能力含糊其辞，也不清楚没有人类监督的自主模式是否已投入使用（Bode & Watts，2023；Hambling，2023a；Sayler，2021；Longpre 等人，2022）。
另一种成熟的 AWS 形式是（可重复使用的）无人飞行器（UAV）。五角大楼的 "复制者计划"（Replicator Program）是 AWS-UAV 开发领域最近宣布的一项重大计划，其目标是在 18-24 个月内部署数千或数万架无人飞行器，横跨陆地、空中和海洋（Klare，2023 年；Greenwalt，2023 年）。这些计划的主要候选者包括预算低廉的战斗机和轰炸机无人机，它们可以取代传统的载人飞机，但价格却低 10-100 倍。
其中一个例子是由 Kratos Defense and Security Solutions 公司开发的 XQ-58A Valkyrie 系统，该系统是有人驾驶飞机的 "忠诚僚机"，可保护飞机并执行攻击行动，否则有人驾驶飞机将面临风险，该系统于 2019 年首次展示（Wang 等人，2020 年；Klare，2020 年，2023 年；Newdick & Rogoway，2023 年）。值得注意的是，克拉托斯公司声称每年可以生产几百个 Valkyrie 单元，单个成本在 200-500 万美元之间，比有人驾驶飞机、美国 "死神 "无人机等大多数传统无人机甚至一些导弹都便宜（Jordan，2021；Lyu & Zhan，2022；Boys，2023）。这些单元可以进行侦察，配备武器进行防御火力打击，作战航程达 3000 英里，甚至可以部署更小的无人机进行打击或低空侦察（Newdick & Rogoway, 2023）。其他主要候选机型甚至更加便宜，并打算利用自主蜂群能力进行大量部署，如 Shield AI 公司的 V-Bat 和波音公司的 MQ-28（Gruszczak & Kaempf，2023；Saylam & Gündoğdu，2023；Bachmann & Grant，2023；Sud，2020；Castillo，2022）。此外，F-16 的无人驾驶版本最近也进行了演示，包括在 2024 年首次与人进行空中格斗，并预计在 2025 年进行部署（DARPA，2023 年；Brown，2023 年；Kohler，2024 年）。美国的盟国也在开发类似系统，如 "蓝熊幽灵 "系列自主无人机（BlueBear，2018 年）。
2.2 地面 AWS
美国和其他北约国家推动了最近值得关注的 UGV 发展（Sharma，2022 年）。2017 年，美国陆军宣布其中期（2021-30 年）优先事项包括需要实现在无人战车和支援车辆的支持下执行全自动护航行动的能力，这些无人战车和支援车辆可在困难地形导航并携带先进有效载荷（美国陆军训练与条令司令部，2017 年）。在实现这一目标方面已取得重大进展。最近最引人注目的无人地面车辆（UGV）已经部署在乌克兰战场上（Milrem Robotics，2023a），它是 Milrem THeMIS 单元，能够自主瞄准和部署弹药，以及执行其他支持和感知任务（Mathiassen 等人，2021；Milrem Robotics，2023b）。Milrem 试图提高单元的自主性，以更快地应对威胁，并在小型自主蜂群中实现群体协调。
在美国、欧洲和印度，其他一些 UGV AWS 也处于后期开发阶段，并计划进行重大演示或部署（Sharma，2022 年）。例如，由 QinetiQ 公司开发的 MAARS 灰口自主武器化机器人配备了机枪和榴弹发射器，可发挥直接火力支援作用。目前，该平台配备了用于自主导航和航点跟踪的机载人工智能系统，但武器在发射前需要人工输入（QinetiQ，2023 年）。有腿四足无人潜航器也显示出在更复杂的地形和环境中使用的巨大前景（Hambling，2023b；Gilead，2023）。最后，飞马智能公司（Pegasus Intelligence）正在开发多样化的 AWS 组合，其中一些是两栖型的，或者可以在飞行和地面模式之间转换（Pegasus Intelligence，2023 年）。展望未来，最近在人工智能和机器人等子领域取得的进展，如自动驾驶车辆研究，大大提高了 UGV 的能力，并刺激了更多的开发，最近的几个 DARPA 计划正在测试军事技术中的自动驾驶能力（Bisht，2022 年）。
2.3 海军 AWS
潜艇 AWS 的开发一直是各国海军的重中之重，因为海洋是一个天生的信号干扰器，使远程操作变得困难或不可能--事实上，现代海军水雷和鱼雷可以被视为非常简单的 AWS。最近海军 AWS 的一个显著发展是 2023 年以色列航空航天工业公司（IAI）宣布其 "蓝鲸 "反潜战（ASW）无人驾驶潜艇参加了北约演习（《以色列国防》，2023 年）。蓝鲸 "号反潜战潜艇可通过卫星连接和用于海上目标定位的电子光学传感器连续运行 2-4 周，运行成本低。
美国海军正在进行类似的努力。计划为水下和水面行动提供一系列中型、大型和超大型无人驾驶舰载机（O'Rourke，2023 年）。其中最大的是 Orca XLUUV，据称干重超过 50 吨。它专门用于在海底部署锤头雷，但可根据作战、监视、情报等需要进行重新配置，并能携带多种有效载荷（O'Rourke，2023 年）。L3Harris 公司还在开发一系列长达 13 米的自主水面舰艇，这些舰艇无需船员操作，只需少量远程操作即可完成有效载荷的投放（L3Harris，2023 年；美国海军中央司令部，2023 年）。这些新型水面舰艇的能力和自主性可能远远超过在乌克兰战争中得到显著使用的小型半自主水面舰艇（Ozberk，2023 年；Santora & Triebert，2023 年）。有关美国海军自主单元的详细历史进展，请参见（Castillo, 2022）。
2.4 用于指挥的 AWS 系统
数据和情报共享与合成显然是人工智能增强和 AWS 整合的目标。建立此类系统的许多努力正在进行之中（Bihl & Talbert，2020 年）。从历史上看，这些功能一直分散在各军兵种中（Pfaff 等人，2023 年），但美国最近的举措试图统一军事人工智能和大数据平台（Allen，2023 年）。联合全域指挥与控制项目就是其中的一个例子，该项目试图自动化和加速处理各军种的大量传感器、成像和情报数据（Hoehn，2022 年）。
最近，该领域的一项令人关注的进展是 Palantir 于 2023 年展示了其国防人工智能平台（AIP），该平台使用大型语言模型（LLMs）为军事指挥决策提供建议（Mikhailov，2023；Michel，2023；Reynolds & Cetin，2023）。描述的功能包括聊天机器人在各种情况下部署特定类型导弹、远程火炮或空中单元的建议。据报道，随着时间的推移，该系统的性能每况愈下，需要进行干预才能恢复演示的准确性和逻辑性（Mikhailov，2023 年）。Scale AI 最近还宣布与战略与国际研究中心合作，创建可执行兵棋推演、外交、军事指挥咨询、网络安全分析，甚至帮助应对错误信息运动的大型语言模型（Scale AI，2024）。最后，虽然尚未宣布任何项目，但 OpenAI 最近在 2024 年初解除了将其产品用于军事目的的禁令（Biddle，2024 年）。
该领域的一个主要担忧是，随着 AWS 系统和地理空间/情报数据复杂性的增加，指挥官将依赖人工智能系统的注释、分析和建议，而人工智能系统的输出不容易进行双重检查（Pfaff 等人，2023 年）。这种担忧可能会在短期内限制基于人工智能的先进指挥系统的普及，但随着能力的提高，这种担忧可能会被明智地忽略。最近的一项研究也表达了这样的担忧，即由于大型语言模型相对于人脑而言本身具有的狭窄性和专业性，在指挥层面更多地使用人工智能可能会（而且可能已经）降低良好战术和战略的标准（Hunter & Bowen, 2022）。2024 年，一项针对军事相关大型语言模型的研究发现，大型语言模型容易推荐动机和逻辑不明确的支持升级战术，包括挑起军备竞赛和要求部署核武器的升级（Rivera et al.） 同样，最近有人对以色列的 "薰衣草 "人工智能系统缺乏人为监督表示担忧，该系统在加沙地带的军事行动中用于对平民和武装分子进行分类，以确定军事目标（Abraham，2024 年）。与人类类似，人工智能模型在复杂的决策制定方面也并非完美无缺，在如何使用此类系统为军事指挥官提供建议方面，尤其是在使用哪些因素来设定致命决策的统计阈值方面，通常需要更多的透明度。
AWS 扩散和对学术研究的威胁
目前，大多数形式的 AWS 只在少数国家部署，而且数量有限。因此，其军事意义相对较低--AWS 能力目前还不是任何国家国防的核心。我们预计这种情况将随着时间的推移而改变，可能在 5-10 年内，AWS 将在许多武装部队中发挥更核心的作用。此外，我们预计 AWS 将广泛扩散，并在全球许多陆军中发挥关键作用（Scharre，2018 年）。这种重要性意味着推动 AWS 的技术--机器学习和机器人技术--成为关键的国防技术。因此，这种国防价值将影响全世界的人工智能研究，并引发对人工智能研究人员进行国家安全限制的前景。在本节中，我们将论证为什么先进的 AWS 一旦开发出来就会广泛扩散，以及为什么旨在规范人工智能研究以防止 AWS 扩散的政策将是徒劳的，而且对该领域有害无益。
首先，关于扩散问题，让诸如 TheMIS 这样的跟踪型无人机以极高的成功率对敌军进行机动、探测和射击所需的技术（例如）已经存在，这是对自动驾驶和计算机视觉应用所开发方法的延伸（Mathiassen 等人，2021 年）。同样，无人机在没有人类干预的情况下探测目标并对其实施打击也是可行的--事实上，如第 2 节所述，多种闲逛弹药在一定程度上宣传了自主瞄准功能。虽然要在更大范围内实现这些功能还需要进行大量的集成工作，但对于拥有大量受过良好教育的劳动力的国家来说，所需的硬件和软件工程人才并不稀缺或受到限制。
其次，相对于许多军事采购项目而言，ML 软件的扩散既容易又广泛，而且开发成本低廉（Warren & Hillas, 2020; Bengio, 2023）。与过去几十年相比，现在实现先进 AWS 的关键突破来自机器学习领域，算法方面的重大进展使新的机器人应用成为可能，如仓库物流和远程勘测以及监控无人机和 UGV（Schedl 等人，2021 年；del Cerro 等人，2021 年）。在不久的将来，学术界和工业界研究人员的目标是将这一领域扩展到能够在复杂的室内环境中导航（Fan 等人，2020 年）、灵巧的物体操纵（Andrychowicz 等人，2020 年；Nagabandi 等人，2020 年），甚至外科手术（Saeidi 等人，2022 年）的人类辅助机器人，并为开发此类系统付出了大量努力。这些都是很有价值的应用，但其中许多算法本身就具有 "双重用途"，因为它们可以应用于军队和国防承包商的 AWS 开发（Hoijtink & Planqué-van Hardeveld, 2022; Gómez de Ágreda, 2020）。虽然大多数 ML 软件生态系统保持开源和免费提供是件好事，但这确实意味着 AWS 开发所需的核心软件也很容易获得。
ML 人才和开放访问的 ML 代码的迅速扩散，虽然对人类来说是一个净积极因素，但不幸的是，最近一些顶级 ML 研究人员呼吁对 ML 的许多主题进行严格监管、限制、审查或要求安全许可（Bengio，2023 年；Schaake，2021 年；欧洲议会新闻，2023 年；Henshall，2023 年；O'Brien，2023 年）。鉴于需要监管的内容的标准是如此模糊，审查 ML 研究的偏执反应可能会对 ML 进步和全球合作产生破坏性影响，也不会限制 AWS 的扩散。AWS 的有效性和扩散可能主要受限于可用于训练 AWS 的军用数据集的质量和范围，这些数据集的限制条件和目标与民用数据集不同（Chahal 等人，2020 年）。因此，保护训练有素的 AWS 模型和相关数据集并确保其安全，可能是比人工智能研究的安全分隔更可行的目标。我们还注意到，通过锁定 ML 领域来防止扩散的机会已基本过去--ML 的专业知识和代码库已遍布全球，追溯性地钳制这些知识不足以阻止 AWS 的实质性发展。
这些错误的知识限制努力的一个主要形式是对平民科学家的移民和研究签证限制。事实上，美国已经对一些中国研究人员实施了此类签证禁令（Hawkins，2024 年）。此类禁令不仅因上述原因而无效，而且对目标人群来说也是毫无意义的残忍之举，并可能适得其反，增加而非减少核扩散。
除了签证限制，迄今为止，阻止具有潜在危险的人工智能能力扩散的尝试主要集中在阻止向特定国家出口硬件上，其中最著名的是美国阻止向中国出口 GPU。然而，虽然在经济上具有破坏性（Triolo，2023 年；Allen，2022 年），但阻止获取顶级 GPU 和其他计算能力并不会限制 AWS 的扩散。
然而，更广泛适用的事实是，AWS 与目前大多数机器人技术一样，并不需要高端计算能力。虽然诸如 ChatGPT 这样运行在昂贵而稀缺的尖端 GPU 大型集群上的大型语言模型积累了很多关注，但大多数机器人学和其他边缘 ML 研究只需要适度的硬件（Chen & Ran，2019 年）。这些算法及其所运行的芯片与 AWS 的发展最为相关，因为民用和军用机器人都必须考虑到机器人计算的体积、质量、功率和时间预算有限。适用于这些应用的芯片必须既小巧又低功耗，运行的模型要比最先进的大型语言模型小得多，并且将与用于普通民用应用的芯片严重重叠。
举个具体的例子，Shield AI 公司生产了能够实现自主蜂群行为的尖端 V-Bat AWS 平台，该公司列出了自主性的平台计算要求如下： "人工智能性能：100TOPS，GPU：1024 核 Nvidia-Crypton： 1024 核 Nvidia Ampere 架构 GPU + 32 个张量内核，CPU： 8 核 Arm® Cortex®-A78AE v8.2 64 位 CPU 2MB L2 + 4MB L3"（Shield AI，2023 年）。这些规格与 Nvidia 的 Jetson Orin NX 嵌入式边缘计算模块完全对应，该模块于 2023 年首次亮相，采用 2018 年三星的 8nm 工艺，是当前嵌入式 GPU 计算标准的代表。该模块的性能远远低于美国政府最近对 GPU 实施的基于性能的出口限制，出口控制门槛为 4800 TOPS，是 Jetson Orin NX 100 TOPS 性能的 48 倍多（美国商务部，2023 年）。相比之下，中国半导体制造商中芯国际（SMIC）宣传其 7nm 级工艺，而多家中国芯片设计公司已在生产或宣布生产 GPU 加速芯片，因此在不久的将来很可能生产出与 Jetson Orin NX 大致相当的中国国产芯片。
随着 AWS 技术的扩散和对世界各国军队的日益重要，很可能会看到各国利用学术和企业研究人才来帮助 AWS 的发展。
同样，拥有大量民用人工智能专业技术和基础设施的公司很可能会看到压力和激励，从而为国防合同做出贡献，并开发对军方具有双重用途的技术（Reynolds & Cetin, 2023; Biddle, 2024）。如果人工智能和 AWS 带来的威胁继续在言论上被等同于核武器的威胁，那么各国可能会开始限制 ML 研究人员，类似于核科学家被限制旅行和他们在某些课题上的研究被阻止发表，尽管这些政策并没有什么效果（Daniels，2019）。
政策建议
4.1 AWS 政策的历史努力
在本节的开头，我们将回顾过去二十年来在 AWS 监管和政策方面发生的几件大事。2001 年后，美国国会命令五角大楼在 2010 年前使其三分之一的 "纵深打击 "机队实现无人化，在 2015 年前使其三分之一的地面战车实现无人化（美国国会，2001 年），对 AWS 的认识和关注开始增加。事实证明，这些时间表过于激进，但却引发了一系列规范 AWS 发展的努力： 2010 年，国际机器人军备控制委员会呼吁对遥控和自主武器进行监管（Markoff，2010 年）。2013 年，"制止杀手机器人运动 "作为一个非政府组织联盟启动，试图推动全球禁止致命 AWS（Stop Killer Robots，2021 年）。2014 年，第 36 条组织创造了 "有意义的人类控制"（MHC）一词，自此成为 AWS 伦理和监管的核心原则（第 36 条组织，2014 年）。
要求监管的呼声并不局限于非政府组织--近年来，一些国家和国际社会都在努力对 AWS 进行监管。在国家层面，美国于 2023 年提出了《阻止自主人工智能发射核弹法案》（Markey，2023 年）。在国际上，2023 年，包括中国和美国在内的 60 个国家在海牙发出行动呼吁，希望更负责任地将人工智能用于军事应用（Sterling，2023 年）。同样在 2023 年，联合国通过了一项决议，呼吁对 AWS 进行严格监管，并呼吁人类继续控制战争中的致命决策（联合国，2023 年）。最后，欧盟虽然没有直接针对 AWS，但也开始对人工智能风险进行监管，先是在 2021 年，最近又在 2024 年，欧盟人工智能法案将作为人工智能方面的第一个重要法规获得通过，不过其对 AWS 的影响目前还不清楚（欧洲议会新闻，2023 年）。
4.2 国际政策建议
在此，我们将提出几项有助于减少 AWS 负面影响的政策建议，并呼吁多边机构和政策研 究人员努力解决这些问题，并在可能的情况下倡导实施这些建议。尽管有证据表明，AWS 的广泛使用不可避免，但以何种方式实现将在决定它们对全球稳定和学术自由构成的风险方面发挥很大作用。
我们提出的第一项政策建议是，各国可以通过继续禁止不依赖人类使用 AWS 来减轻 AWS 对冲突风险的负面影响。也就是说，AWS 不应该在没有真正意义上的人类战场存在的情况下被部署到战斗中。虽然广泛部署 AWS 可能不可避免，但仍有时间来影响其部署地点和方式，而且不依赖人类的部署在技术上并非微不足道。
防止不依赖人类的使用有两个途径： AWS 制造商不应开发设计用于在没有友好人类的环境中运行的系统，决策者也不应部署完全由 AWS 组成的独立作战编队。在技术方面，要求采取强有力的 "人在回路中 "措施大有裨益，限制在 AWS 中使用通用人工智能模型也是如此。人工智能研究界应警惕并抵制在 AWS 开发中使用大型预训练模型的尝试。与更专业的 AWS 相比，这些模型可能更有助于构建能够独立于人类操作的通用型 AWS，而后者可以使用更小、更专业的 ML 模型进行开发。此外，使用专业模型的 AWS 可能更容易开发成熟，也更容易融入现有的军事指挥系统和条令。
我们的第二项政策建议是，政策专家应就 AWS 的功能自主性水平达成共识，以及什么是需要监管的足够自主的 AWS（联合国裁军事务厅，2023 年；Qiao-Franco & Bode，2023 年）。当 AWS 成为国防规划的核心时，明确的能力和自主水平将有助于避免竞争国家之间的紧张关系和军备竞赛动态。我们的理想是在国际上全面禁止在武器发射时没有人类直接参与的情况下做出致命决定的 AWS，乌克兰战争（Hambling，2023a）和多场冲突（Bode & Watts，2023）中的闲逛弹药已经越过了这一界限。如果不能实现这一理想，政策制定者就需要领导军事研发工作，在越界系统被开发并部署到实战中之前，决定在哪里划定界限，这将使退回到较低自主水平变得更加困难。
提出的第三项政策建议是紧急提高有关计划和部署的 AWS 能力的透明度和监督。特别是，我们需要明确哪些军事任务可以实现自动化，以及在何种程度的人工监督下实现自动化，无论是在纸面上还是在实战中。例如，人们（希望）已达成广泛共识，不应将核武库交给完全自主、无需人类监督的系统（坦布尔里尼，2023 年；马修-罗伯特，2021 年）。不幸的是，鉴于最近人们对自主武器的热情，以及人们认识到信号干扰和水下战争等情况本质上受益于人类脱离回路的自主性，目前似乎正在考虑任何比自主核武器危险性更低的武器（格林沃尔特，2023 年；普法夫等人，2023 年；奥洛克，2023 年）。美国军方所有部门都已在投资指挥增强或指挥替代人工智能系统（Hoehn, 2022; Mikhailov, 2023），但这些项目的目标和范围在分析和瞄准过程中人为因素的去除程度方面充其量只是模糊不清。我们支持采取措施降低这些最坏的风险，并希望能推动立法，为常规弹药的 AWS 自主性建立监督程序。
此外，我们还注意到，随着战场越来越多地由机器主宰，AWS 部署的透明度也很有价值。在这种情况下，报告战时事件的人类数量会逐渐减少。过去由 AWS 领导的军事行动对公众的报道不足，而且越来越多地越过了之前政治和军事声明中所说的永远不会越过的界限（Hernandez, 2021; Bergman & Fassihi, 2021; Hambling, 2023a; Abraham, 2024）。随着 AWS 越来越少地需要人类参与，隐蔽的 AWS 运动和秘密的 AWS 计划可能也会被更少的军事和情报人员所知晓。这种情况可能会导致掩盖战争罪行，以及对新系统的民事评估不足，从而导致决策者高估其能力（Pfaff 等人，2023 年）。先进 AWS 的使用应强制要求提供独立监督机构和记者的访问权限。此外，应实施一个最大限度提高公众透明度的强有力的报告程序，以评估这些基于人工智能的武器的成果和有效性，并防止战争行为进一步被掩盖，不为公众所关注。
4.3 学术政策和行动建议
最后，我们为学术界和学术机构提出几项行动，以解决我们在这项工作中描述的问题，首先是概述学术界最近在 AWS 监管方面采取的行动。最近的大多数学术倡议都集中在寻求监管或禁止 AWS 的公开信或请愿书上（未来生命研究所，2016 年；Amoroso & Tamburrini，2020 年）。例如，2017 年，清水机器人公司的一位联合创始人发表了一封公开信，呼吁联合国禁止 AWS，来自 26 个国家的 116 位机器人和人工智能公司创始人签署了公开信（Bogdon，2017）。同样，2018 年，来自 30 个国家的人工智能研究人员写了一封公开信，抗议韩国科学技术院（KAIST）新成立的一个将学术研究与军事研究合并的部门（Walsh，2018）。2018 年，谷歌员工的抗议导致该公司取消了五角大楼的一份合同，而这份合同本可以带来更精确的无人机打击技术（Crofts, P. & van Rijswijk, H., 2020）。最近，谷歌员工又发起了另一场抗议活动，反对他们的 "幻影计划"（Perrigo, 2024）。此外，我们注意到，目前全球舆论对 AWS 的监管是有利的--2020-2021 年的一项民意调查发现，28 个国家中约有 61% 的成年人反对使用完全自主的武器，印度是接受调查的国家中唯一一个大多数人支持 AWS 的国家（Ipsos，2021）。
展望未来，人工智能研究可能会越来越多地产生对武器系统或民用应用有用的双重用途硬件和软件，扩大对 AWS 的军事资助有可能会招募更多的人工智能/ML 研究人员和机构参与 AWS 开发项目。解决这一问题的直接方法是像许多大学对待工业资金那样对待军方资金。目前，许多大学都要求对行业资金来源进行大量伦理训练，并提供行政监督。这些措施旨在防止研究出现偏差或对公众对大学在社会中的作用产生负面影响（Bickford，2004；Robertson，2011；Fabbri 等人，2018；Larrick 等人，2022；Bero，2022）。目前，对军事经费的处理并没有同等程度的监督和认识（D'Agostino，2024 年）。这项措施实施起来很简单，可以防止最有道德问题的 AWS 研究项目，捍卫学术独立性。
我们强调，这并不是呼吁大学完全放弃军方资助。由国防资助的学术研究，如果在军事应用上获益甚微或与作战技术脱节，既不是什么新鲜事，也不会对学术自由构成重大威胁。然而，AWS 的崛起很可能会使学术研究成为国防和国家安全新人工智能项目的核心，直接导致在短时间内形成更具杀伤力的新武器系统。鉴于这一趋势，在处理军事资金时，应像目前处理工业资金一样，保持清醒的认识和谨慎的态度。需要围绕哪些军事项目可以接受、哪些会危及学术独立性制定明确的制度规则（D'Agostino，2024 年）。
总之，不受约束的 AWS 发展给全世界的学术界和国家带来了一系列风险，其中许多风险尚未得到适当审查。当务之急是，我们必须开始正视这些对我们的领域和社会的威胁。
原文
相关内容
微信扫码咨询专知VIP会员