人工智能赋能自主武器与人类控制第三部分：人类控制与系统操作员

人工智能（AI）近来在政策与学术讨论中既作为战略资产，也作为现代战争中复杂的伦理困境出现。它可能重塑军事能力，并重新定义必要的人类参与程度。AI对于自主武器系统（AWS）尤为关键，因为其日益增长的复杂性和能力要求重新审视机器自主性与人类决策之间的平衡。这些创新和新兴军事能力的核心，在于人类控制的程度或缺失所引发的不确定性。

为寻求这种平衡，“有意义的人类控制”（MHC）概念应需而生，它提供了一个框架来重新思考和界定人类在关键且时间敏感的决策中的参与。随着各国探索军事AI的潜力和实际应用，MHC已成为规范自主武器系统的核心焦点。然而，MHC的理念因其模糊性、有限的实际应用以及缺乏全球共识而存在显著挑战。尽管如此，它所代表的核心问题——人类决策在部署自主武器系统中的作用——对于AI和自主系统在军事行动中安全且合法的整合至关重要，无论使用何种术语。尽管学术界在MHC的概念化方面付出了巨大努力，但仍有大量工作有待完成。

推进人类控制在自主系统中的实际应用，需要仔细审视决策者及其在武器系统整个生命周期中所做的决策。许多参与者参与到武器系统的概念化、设计、开发、采购、部署和处置过程中，他们对于自主武器系统关键功能的重要性各不相同。识别和分析这些关键参与者并理解他们的角色，对于绘制人类参与、能力及潜在控制的网络至关重要。

本文是朝此方向迈出的一步。它是一个三部分系列文章的第三篇，该系列审视了在AI赋能的自主武器系统生命周期内人类控制的实际运作及其影响。

该系列文章审视自主武器系统（AWS）的生命周期，以理解关键决策者是谁，以及做出了哪些决策，从而评估人类控制如何能被整合到自主武器系统中。系列中的每篇文章探讨一个特定的生命周期阶段。第一篇文章探讨了在自主武器系统设计与开发阶段所做的决策，以审视软件开发者和工程师如何利用人类判断来建立机器学习模型内的参数。第二篇文章讨论了指挥官的角色和功能，以及通过确立自主武器系统适当使用的参数来嵌入人类判断的途径。这第三篇文章探讨了操作员作为人类控制关键代理人的角色和功能，包括监督自主武器系统所固有的认知挑战，以及操作员在战斗环境中运用人类判断操作自主武器系统的机会。

操作员始终处于人类控制讨论的中心。全球政策论坛，例如联合国致命自主武器系统政府专家组，已广泛考量了在国家和国际层面概念化和实施自主武器系统人类控制框架所面临的挑战。操作员在这些辩论中扮演关键角色，因为从历史上看，他们是人类控制存在于常规武器中的执行者。因此，历史上沿OODA循环（观察、调整、决策、行动）存在的操作员，直观地代表了在AI背景下有能力维持“控制”的人类。然而，正如本文详细阐述的，这种人类控制的愿景存在固有风险。清晰认识操作员在自主武器系统中的局限性和现实功能至关重要。

对操作员角色进行重新审视的部分原因在于本文所考察的自主武器类型。本系列考察的是AI赋能的自主武器，特别是那些具备“边缘学习”能力的系统，即系统能在操作环境中学习并优化。AI赋能的自主武器在质上的不同在于其“让武器决策”的能力。本系列文章仅关注具备边缘学习能力、且在观察-调整-决策-行动（OODA）循环的任何阶段均无需人工干预的武器系统。此类武器系统尚未（但）存在。然而，这些系统代表了一种人类控制程度最低的场景，并且是MHC支持者试图预防的场景。确实，部署这些假设性的武器系统存在重大关切，尤其是在边缘操作。然而，有必要承认，机器学习和边缘能力正在快速发展，这些武器系统可能不会永远是虚构的。在仍有机会吸纳基于研究的见解并制定全面且负责任的自主武器系统政策和实践之时，针对这种形式的自主武器系统提出关于人类判断与控制的作用和能力的复杂问题，是至关重要的。

本文后续安排如下。首先，详细阐述围绕人类控制与自主武器系统的关切、挑战和机遇的轮廓与辩论。其次，论证生命周期视角展示了关键决策者将人类判断嵌入自主武器系统的过程。通过更深入地探究参与未来自主武器系统开发与部署的“众多人类参与者”，研究人员可以理解更大的人类控制网络，该网络能为实施人类控制以及最终实现安全、合法和负责任的自主武器系统提供更佳的政策和实践信息。第三，详细说明操作员控制自主武器系统所特有的固有挑战，包括决策速度过快超出人类认知能力、决策过慢无法吸引人类认知参与，以及其他可能抑制操作员最佳表现或损害人类控制的认知偏差。第四，提出一个操作员功能框架，以提供对已部署自主武器系统中运用的操作员判断的现实看法。该框架包括操作员在作战环境中引导、观察和终止自主武器系统的角色。这些角色不同于先前描述的指挥官和软件开发者的角色，因而是操作员特有的功能。第五，本文进一步阐述了认识到人类控制网络的重要性对于未来政策制定者的关键性，因为AI能力持续创新，并且拥有自主武器系统的未来正变得越来越可能。