《展望未来战争中的人机互动： 国防工业关于人类控制自主武器系统的叙述》

军事领域人工智能和自主功能的发展对私营国防工业正在开发的技术产生了巨大影响。国防企业通过对其产品进行战略营销等形式，为自主武器系统和未来战争的叙事和愿景做出了贡献。然而，迄今为止，人们对它们的作用，尤其是在自主武器系统方面的作用研究不足。由于规范性辩论围绕着人类控制的各个方面展开，本作品研究了国防制造商在自主军事系统营销中关于（有意义的）人类控制的叙述。在对二十家国防公司进行全面内容分析的基础上，确定了三个主要叙事，分别是将自主性视为军事优势、人类在未来战争中的作用以及人机协作。根据研究结果，国防公司复制和调整了一些叙事，这些叙事塑造了人类对自主武器系统控制的期望和愿景，以期待新出现的（有意义的）人类控制规范。然而，如果没有规范和验证机制，就没有迹象表明人类控制将是有意义的。

现代战争越来越多地取决于技术的发展和数字武器技术的优势，尤其是由于经济因素（Schneider 和 Macdonald 引用 2024）。最近的技术发展表明，人工智能（AI）将在武器系统中发挥至关重要的作用，关于自主武器系统（AWS）的全面辩论就证明了这一点。足注1 人工智能可用于 AWS，为探测和选择目标提供支持，甚至为使用武力做出决策。然而，从决策支持到完全自主的功能是一个范围，这导致了对人类控制质量的广泛讨论（Amoroso 和 Tamburrini 引用2021）。越来越多的武器系统自动化功能的部署或与武器系统的结合已经对战争中的人类决策产生了明显的影响，例如，在加沙使用人工智能决策支持系统，人类监督的减少导致人类目标的增加（Abraham Citation2024）。此类事件对人们对这些军事系统的看法产生了影响（Rosert 和 Sauer 引用 2021），导致不同行为体出现强大的叙事，如 “阻止杀手机器人运动 ”对杀手机器人的科幻想象，或“[赞扬]AWS 的军事用途和战略重要性的竞争性叙事”（Hynek 和 Solovyeva 引用 2021）。

这种围绕 AWS 的叙述 “可能影响人工智能开发者的目标”、“公众对人工智能系统的接受和吸收 ”以及 “塑造决策者及其选民的观点”（Cave 和 Dihal 引用 2019, 74）。此外，它们还塑造了技术的愿景和想象，以及对合法和非法战争形式的看法（Ferl Citation2024）。然而，与使用自主决策和瞄准有关的道德和伦理考虑因素十分复杂，争议很大（Johnson Citation2020）。尤其是在决策过程中摒弃人类的任何判断，以及预先将权力下放给自主系统的想法，可能会严重影响战争的安全性、复原力和可信度（Boulanin 等人引用 2020）。机器人学、国际关系（IR）和安全研究领域的大量文献探讨了人工智能驱动的自主军事系统的伦理、法律和安全相关问题（Bode 等引文 2024），指出了遵守战争法（Garcia 引文 2024；Sati 引文 2024；Woodcock 引文 2024）、伦理问题、侵犯人类尊严（Johnson 引文 2024）和全球不稳定风险增加（Altmann 和 Sauer 引文 2017；Katagiri 引文 2024）等方面的问题。在此背景下，许多国际行为体认为，武器系统，包括自主武器系统，应始终处于有意义的人类控制之下（MHC）（Amoroso and Tamburrini Citation2021；Bode and Watts Citation2021；Chengeta Citation2017；Ekelhof Citation2019；Horowitz and Scharre Citation2015）。

虽然一些国际行动者已将这一概念列入其议程，但这一概念主要是由民间社会行动者强调的。与此相反，各国追求不同的利益和战略，在关键概念和问题上几乎没有达成共识的余地（Riebe、Schmid 和 Reuter 引用 2020），因为不同的叙述与（不）合法的未来战争愿景密切相关（Ferl 引用 2024）。联合国裁军研究所（裁研所）强调，“有意义 ”和 “人的控制 ”这两个术语导致各利益攸关方对这一概念的内涵持有不同看法（Bode 和 Huelss Citation2018b）。迄今为止，在《联合国特定常规武器公约》（UN CCW）致命性自主武器系统领域新兴技术政府专家组（UN GGE on LAWS）内部正在进行的跨国辩论中，有意义和人为控制的概念仍处于核心地位，因为许多国家认为在没有任何人为控制的情况下使用武力是不可接受的，在道义上应受到谴责（Bode and Huelss Citation2018b）。然而，“对于各种复杂的人机互动形式（注释 2）以及在什么时候人的控制不再有意义”（Bode and Huelss Citation2018a, 223），“人们的共识较少”。此外，虽然呼吁为 AWS 制定一份具有法律约束力的文书最近得到了广泛支持（欧盟不扩散与裁军联合会引文2024），但批评者强调，联合国关于致命性自主武器系统的政府专家小组应更加重视 “人类实际监督和参与的不同程度”（Cleobury 引文2024）。

从流程和技术的自主化角度看，经济方面的因素也在发挥作用，这就是为什么研发（R&D）不仅由军方投资，而且由于自主化和人工智能的双重用途特性，私营企业也大量投资的原因（Schmid Citation2022）。虽然学术文献讨论了政治领域和国家立场中围绕军用直升机的各种概念，但显然缺乏对私人行为者和商业公司（如国防工业）如何接受军用直升机并将其纳入自主军事系统的开发，从而也在话语中塑造规范的扩展分析。在这种情况下，这些行为者为吸引潜在客户而进行的战略沟通营销，可为叙事以及预期规范的传播和再现提供启示（Prem 引文 2022；Rosert 和 Sauer 引文 2021）。我们将国防工业视为 “规范受众”（Rosert 和 Sauer，引用 2021），它对非政府组织等规范制定者促进国际规范的职能做出了回应，因此，这一点对这一领域未来的规范制定工作至关重要。因此，从建构主义的角度来看，研究这些行为者如何制造和传播某些叙事，从而促进规范的引入或社会化（Payne，2001 年引用），是一件特别有意思的事情。强有力的规范通常包括某些价值观和道德原则，“包括战争中什么是‘对’和‘错’的问题”（Bode and Huelss Citation2018a, 394）。尽管具有法律约束力的军备控制原则更有可能得到遵守（Rosert Citation2021），但规范的建立可以支持或扩展法律框架（Rosert and Sauer Citation2021）。在此，博德（Bode）等人（引文2023）从自下而上的变革角度来理解规范，而不是从自上而下的法律规范角度来理解规范。博德进一步强调 “关于武器化人工智能的新兴规范深深植根于叙事和表述之中"（Bode Citation2023, 142）。在关于AWS监管的学术讨论中，以及倡导MHC强监管规范的战略中，规范企业家和制度环境都被研究过（Rosert and Sauer Citation2021），而国防公司却在研究中被忽视了。

因此，本文旨在以此为基础，提出以下问题： 在自主武器系统的营销叙事中，国防公司是如何再现（有意义的）人类控制概念的？为了回答这个问题，本文概述了有关各种 MHC 概念和国防工业营销的相关著作。在此基础上，我们对国防公司的网站进行了评估和批判性讨论。通过这样做，本研究对实证和理论论述都有所贡献。实证方面的贡献在于从国防公司的角度深入探讨了军事应用自主系统中的人类控制叙事，而理论方面的贡献则在于通过叙事应用规范出现理论以及国防公司如何预期人类控制规范。