推荐！【中文版】《自主武器系统中的人机接口》 联合国裁军研究所（UNIDIR）

目 录

• 1.前言
• 2.介绍
• 3.人机接口和人类控制
  • 3.1 人类控制的实际措施和接口作用
  • 3.2 接口和自主性的架构
    • 3.2.1 态势感知
    • 3.2.2 理解AWS状态和行为
• 4.AWS的接口和人机交互
  • 4.1 认知参与的新性能需求和挑战
  • 4.2 接口设计和使用环境
• 5.人机接口设计方法
  • 5.1 以人为本的设计
  • 5.2 以互动为中心的方法
• 6.培训方面的挑战
  • 6.1 了解自主级别和职能分配
  • 6.2 人类-人工智能团队的培训
• 7.AI的可解释性和透明度
  • 7.1 XAI仪表板及其局限性
  • 7.2 XAI和自主武器系统
• 8.结论
  • 8.1 总体结论
  • 8.2 接口设计
  • 8.3 培训
  • 8.4 Al的解释性
• 9.政策建议

1. 前言

人类对自主武器系统（AWS）的控制一直是致命自主武器系统政府专家组（GGE on LAWS）讨论的核心主题，该小组自2017年起在《特定常规武器公约》的框架下正式举办讨论会议。

控制的含义和可操作性一直是专家组讨论中最有争议的话题之一。近年来出现了三种主要的控制方式，现在普遍被认为是对AWS施加了实际的限制：对武器参数的控制、对使用环境的控制、以及在使用过程中通过人机接口进行控制。

人机接口是操作者和AWS之间的物理联系，在人类控制方面发挥着关键作用，其作用在致命性自主武器系统政府专家组会议和各种国家政策文件中都得到了强调。人机接口对于发展和保持对态势认知以及控制系统的结构都很重要：允许操作人员监测一个系统，并在必要时停用或推翻。

本报告强调了接口在人类控制AWS中所起作用的几个重要方面。它特别关注在此类系统中越来越频繁地使用人工智能（AI）和机器学习（ML）技术所带来现有和预期挑战。报告在一些情况下引用了汽车行业自动化的例子，这些例子可以在可控性和系统设计方面提供重要的经验。

本研究的主要结果和结论如下：

• 首先，重要的是将关于接口作用的讨论置于自主系统中人机接口的背景下，这对人类操作者提出了重要的技能要求，而且还伴随着固有的风险，如对技术的过度信任或不信任，而AI/ML的使用又进一步加剧了这种风险。

• 要让接口成为有效的控制手段，它必须具有高度的可用性（意味着它必须可以让用户能够实现按照既定方式向着目标进行设计和开发），而且操作人员必须接受充分的培训以有效地使用它。随着武器系统中AI和ML的引入，实现这些标准需要产生新的变化：随着武器系统变得更加复杂（例如，在关键功能上被赋予更多的自主性），接口将变得更加复杂，对人类操作员的培训要求也是如此。

• 最近在接口设计方面的研究表明，人们关注人类与人工智能之间的接口以及“人与人工智能的合作”，以及如何在设计过程中反映出来。支持这一观点的是，随着机器变得更加复杂，人机互动必须相应地发展。

• 在系统不断学习的背景下进行人员培训，促使人们需要额外的培训课程和方法，以支持操作人员建立适当的系统心理模型，并校准信任和期望。

• 在依赖AI/ML的系统中，减轻信任和不可知性相关问题的一个方法是将人工智能中与可解释性和透明度有关更多选择嵌入到接口中，例如使用可视化技术（揭示人工智能的部分过程或结论的仪表板）。这些努力很重要，但其本身也给人机互动带来了额外的复杂性，这可能会影响到人类的控制。

2. 介绍

人机接口是人类操作者和自主系统之间的物理纽带，也是人类控制系统的一系列选择中的一个关键因素。接口结合了硬件和软件，可以包括一系列的组件，如带有按钮的物理控制面板、仪表板和触摸屏。接口允许人类操作者监控一个过程（例如，导航），修改或配置控制设置，调整参数和命令，或手动改写系统的操作。它们还可以显示关键信息，让操作者了解系统的状态，在远程操作系统的情况下，了解该系统运行的环境。

在致命性自主武器系统领域新兴技术政府专家组（GGE on LAWS）审议人类对自主武器系统（AWS）的控制问题时，接口问题多次出现在该专家组的讨论中。这可以被理解为接口很重要，因为它至少提供了两种保持一定程度控制的关键手段：允许操作者监测系统的行为和行动，以及在系统未能按预期执行时停用或改写它（例如通过手动控制）。然而，随着系统变得更加自主，接口也变得更加复杂。

本报告分析了接口在行使人类控制方面的作用。它介绍了在AWS背景下互动设计和使用的几个方面，并强调了随着更多人工智能功能被纳入武器系统而出现的重要趋势。

一般来说，要让接口成为有效的控制手段，它必须具有高度的可用性（这意味着它的设计和开发方式必须使用户能够实现他们的目标），而且操作人员必须接受充分的培训以有效使用它。随着自主性的增强以及AI和ML在武器系统中的使用，这些基本标准的实现变得更加复杂。随着武器系统变得更加复杂，人机互动和接口设计的选择也变得更加复杂，对人类操作员的培训要求也是如此。

由于接口不能作为独立功能进行讨论，本报告将这一分析纳入了更普遍的自主性和人机互动的背景中。武器系统中的自主性带来的挑战被编入接口设计和使用的所有方面，以及人员培训要求中。

该报告首先概述了多边和政策讨论（包括 GGE on LAWS）中对 AWS 的人为控制特征，并对接口在人为控制中的作用进行了一般性介绍（第1节）。然后将接口作用的讨论置于更普遍的人机互动背景下，强调了人类操作者表现的关键挑战（第2节）。接下来的部分介绍了接口设计的主要方法。对各种方法的描述暗示了对人类控制的重要考虑：系统设计的发展是为了提高可用性，但AI/ML的引入也使支持人机接口的技术变得更加复杂（第3节）。除了系统设计之外，培训是考虑人类控制的另一个关键因素。更多的自主性和更复杂的接口为人员和所有武装部队成员的培训带来了新的挑战，特别是在AI/ML支持的系统方面（第4节）。处理人工智能系统的复杂性，并随着时间的推移继续学习和适应，是很困难的，这些系统缺乏可预测性和透明度，会影响对技术的信任和依赖。通过可解释性和透明度的方法（“可解释人工智能”，或“XAI”）来解决这种复杂性（例如通过可视化技术），是很重要的，但仍然存在局限性（第5节）。

3. 人机接口和人类控制

系统中的高度自主性可能会让人联想到独自行动的机器，但在现实中，迄今为止没有任何系统，无论多么自主，是完全独立于某种形式的人类控制或监督之外。

人机接口一直是政府专家组讨论致命性自主武器系统的一个核心主题。这一主题的重要性反映在专家组2019年协商一致通过的指导原则中，特别是原则C，其中指出：

• 人机接口可能采取各种形式，并在武器生命周期的各个阶段实施，应确保基于新兴技术的致命自主武器系统的潜在应用是符合国际法的，特别是国际人道主义法。在确定人机互动的质量和程度时，应考虑一系列因素，包括作战环境，以及整个武器系统的特点和能力。

其中，人类控制作为一个关键概念出现，多年来一直是专家组辩论的核心。尽管在需要彻底禁止哪些能力方面存在许多分歧，但缔约国之间达成了广泛共识，即无论在任何一个武器系统都需要维持人类对自主武器系统一定程度的控制。

与战争中的自主性有关的几个关键主题（例如，责任和问责，国际人道主义法的适用性）实际上属于“人类控制”概念的范围。这与民用领域使用人工智能、机器学习和机器人技术的发展相呼应，围绕“可控性”的讨论已占据中心位置，结合了“复杂的技术、人体工程学、法律、道德和组织因素”。

3.1 人类控制的实际措施和接口作用

在AWS背景下提炼人类控制的含义和参数一直是个挑战，由于系统和作战环境的不同而变得更加复杂。然而，已经提出的人类控制的一般有形措施包含了对系统设计和使用的考虑。这个控制分类法说明了行使人类控制的两种不同但互补的模式，既通过武器系统本身的设计，其中包括硬件和软件元素，也包括使用过程中的操作控制。

方框1. 人类对AWS控制的实际措施
2020年斯德哥尔摩国际和平研究所和红十字国际委员会的报告《武器系统自主性的限制》提出了行使控制权的三项实际措施：1）控制武器参数（如目标类型）；2）控制使用环境（例如，将AWS的使用限制在特定地点/区域）；以及3）在使用期间通过人机互动进行控制（例如，保留监督AWS的能力）。在政府专家组关于致命性自主武器系统的讨论中也有类似的分类，包括在2020年，主席的总结中列出了这三个相同的控制要素，作为进行进一步审议的基础：各国应确保人类作战员或指挥官对作战环境作出判断，包括通过对任务、目标概况、行动时限以及在某一地区和作战环境中的行动范围等方面的限制，适用于个类攻击；换言之，适用于武器系统的限制、武器系统的使用参数以及人与武器系统之间的必要互动。

人机接口（HMI）的作用已多次被强调为对人类控制的实操化至关重要，人机接口跨越了系统设计和使用的两个标准。

接口在远程（有时是非常遥远的）控制的无人系统操作中尤为重要，在这种情况下，系统控制的一个核心特征是操作者与机器的感知连接是由接口来调用的。

然而，作为人类和机器之间的纽带，接口对于AWS的控制至关重要，它直接影响到系统的合法使用。虽然控制参数可以以多种方式进行，并“分布”在系统的设计中（例如，目标类型等），接口为操作者提供了监测系统的可能性，并在其他控制形式出现问题时或在地面情况发生变化并“使计划假设失效”时进行干预。

3.2 接口和自主性的架构

在ISO标准ISO 9241-110:2020中，用户接口被定义为“接口系统中为用户提供信息和控制的所有组件的集合，以完成互动系统的特定任务”。

接口是人机系统的子系统，是“操作者与机器互动的窗口（包括比喻和字面意思）”。接口包括许多组件，根据系统的不同而不同，如输入控制（例如按钮和复选框）、导航组件、信息组件等。

一般来说，人机接口有利于输入和输出：输入允许操作者向技术系统输入信息，输出表明输入所产生的效果。例如，输入-输出循环可能寻找AWS的一种方式是，操作者通过界面菜单，在与目标交战时向系统输入某些坐标（输入）。系统将通过提供它自己的坐标和评估作出反应，例如关于附带损害或基于操作程序的其他反馈（输出）。

3.2.1 态势感知

人机接口在态势感知（SA）的发展中发挥着重要作用，SA是人机接口的核心，尤其是在动态环境中。SA受到个人和组织因素（如压力、工作量、任务转换要求或团队动态）以及系统因素的影响，如系统的机械性（如传感器技术收集相关数据的能力）和系统接口。高质量的接口设计可以显著改善SA。

足够水平的SA也将帮助操作者意识到，例如，某种情况超出了自动化能力的范围，或者系统自主表现不正确。

方框2. SA 级别 1-2-3
SA的标准概念包括三个级别。“在一定的时间和空间范围内对环境中的元素的感知，对其意义的理解和对其在不久的将来的状态的预测”：
第一级SA：对环境中各要素的感知：例如，对战术指挥官来说，这意味着感知特定区域内敌军和友军的位置、类型和能力的基本数据。
第二级SA：对当前形势的理解：例如，对于一个战术指挥官来说，这意味着理解在一个地区内出现一定数量的敌机与他们的目标有什么关系或冲突。
第三级SA：对未来状态的预测：例如，一个指挥官将能够预测某架飞机目前存在的进攻行动将导致它以某种方式在某种区域进行攻击。这可以决定实现目标的作战行动方案。

3.2.2 理解AWS状态和行为

接口对于代表自主系统控制的关键特征至关重要，包括系统的可观察性、可预测性和可指导性。

• 可观察性指的是观察和监测系统状态的能力。

• 可预测性指的是了解系统的行为方式的特性。

• 可指导性涉及影响系统的能力。

虽然技术文献包括不同的控制要素分类，但可观察性-可预测性-可指导性的目标综合了AWS的自主能力和接口设计的基本要求。

4. AWS的接口和人机交互

接口不是一种独立的能力，它在人类控制中的作用只能在人机接口的框架内理解。本节特别探讨了在自动化和自主性的大背景下人类表现的迫切性，以及将接口的作用与使用环境联系起来的重要性。

4.1 认知参与的新性能需求和挑战

自主性的引入给性能要求带来了重要的变化。开发有效的系统不仅是一个工程和技术进步的问题。相反，“......自主操作中最容易出现问题的方面是人的方面，或人机结合”。

即使人类操作者“仅仅”负责监督一个自主系统，他们也会面临许多挑战，这些挑战可能来自于数据超载、系统不可理解、培训不足、接口的设计没有考虑到用户的实际需求等等。

例如，在1988年的文森斯号事件中，伊朗航空公司655号航班的商业飞机被驻扎在军舰上的宙斯盾作战系统击落，原因是一个设计不良的武器控制计算机接口导致飞机被错误地识别为一架战斗机。信息显示过于复杂和不充分，给控制人员的印象是客机正在向军舰降落，而实际上它正在远离军舰。此外，对宙斯盾技术的过度自信最终导致了对系统的“过度信任”，以及未能对系统的识别进行质疑。

为了减少军事环境中人机接口的一些风险，有人建议接口需要保持用户的认知参与，这一点在致命性自主武器系统问题政府专家组会议上得到了一些代表团的支持。

在自主系统中保持人类的认知参与是一种挑战，至少有两个原因：

首先是，当被指派监督角色时，人类根本无法持续不断地保持注意力，而期望操作员持续保持警惕并在适当的时候进行需要的干预，这是不合理的。将一个相当被动的角色委派给人类操作员会冒着让他们脱离接触的真正风险，这使得保持警觉变得困难。正如一位专家所解释的，“在指挥和控制中心，往往什么都没有发生，然后，突然发生了一些事情，你需要重新回到认知圈。无论接口有多好，都很难理出头绪”。

有人提出了一些通过接口设计来保持较高警惕率的解决方案。英国国防部发展、概念和理论中心的一份报告提出，可以对接口进行优化以支持这一目标，包括要求操作者1）搜索确定的对象（这被证明可以提高认知参与度），以及2）探索感兴趣的事物，如边界或异常情况。

其他更小、更微妙的任务种类可以包括文本信息和提示操作员检查系统状态等功能。然而，保持警惕的最终答案是操作员参与有意义的任务，“而不是去后端”。

第二个原因可以用人机接口的固有挑战来解释，包括“自动化自满”的挑战，当某些任务被自动化转移到其他任务时可能出现的注意力损失，或对系统的模糊或不准确的期望。其中一些挑战来自于所谓的“自动化难题”。它认为人类警觉性的丧失与系统的自动化和可靠性的提高成正比。“一个系统的自动化程度越高，系统越可靠和强大，监督自动化的人类操作员就越不可能了解关键信息，并在需要时接管人工控制”。

当一个高度自动化和高度可靠的系统发生故障时，会给操作员带来复杂的挑战。因为高水平的自动化增加了对系统的依赖性，同时也增加了人工恢复失败的可能性。这被描述为“伐木工效应”，暴露了高可靠性带来的好处和随之而来的故障成本的权衡，就像森林里的树一样：“它们越高，倒得越远”。在自动化研究中，这种情况也作为技能退化的风险被讨论了20多年，特别是那些在第一次故障前很长一段时间都能正常运行的高性能自动化系统。在这种情况下，操作员学会依赖系统，过度信任它，甚至变得自满。信任的校准是指“一个人对自动化的信任和自动化的能力之间的对应关系”，可以表现为过度信任，或者信任不足。

此外，在使用人工智能的背景下，很难量化“人工智能系统适当校准和执行其预期功能的能力”。向人类-人工智能“团队合作”的转变，作为人类-人工智能合作的首选范式（在第5.2节和6.2节中阐述），以及人类和人工智能需要作为具有共同目标的队友进行合作的概念，带来了自己的一系列挑战。

4.2 接口设计和使用环境

接口设计对其可用性至关重要，因为它“可以直接影响操作者完成任务的能力和愿望......了解当前情况，作出决定，以及监督和向机器系统提供高级命令”。例如，关于无人机控制侦察任务的研究表明，操作者希望“驾驶相机”，这意味着，与其把注意力放在控制飞行器及其系统上，操作者更希望能够把摄像机放在它需要的地方以达到其任务目标。因此，设计方案集中在用户界面上，以消除对滚动、俯仰和偏航的直接控制。

为AWS设计的一般原则已经在各种论坛上得到了讨论。例如，美国国防部指令3000.09规定，“自主和半自主武器系统的人与机器之间接口应：a.对受过训练的操作人员来说容易理解；b.对系统状态提供可追踪的反馈；c.为受过训练的操作人员提供启动和停用系统功能的明确程序”。

美国在致命性自主武器系统问题政府专家组会议上多次重申了这一建议。2019年政府专家组报告将“易于理解的人机接口和控制”列为可能的风险缓解措施，同时还有“严格的系统测试和评估”以及人员培训等措施。

然而，大量关注使界面“清晰”或“容易理解”的做法，有可能被误解为需要简单化。这可能会把注意力转移到微观人机工程学上，或显示系统中的颜色、字体大小等元素上，虽然这些元素很重要，但 “不是开始的地方”。作为一项规则，显示功能需要关注对“任务相关信息”的控制，同时尽量减少“任务不相关信息”。然而，复杂系统中的意识生成并不限于来自屏幕的数据。许多认知系统工程专家对“通过‘适当的’系统和界面设计......可以将技术和战术的复杂性降低到可管理的水平”的观点提出异议，他们认为这种方法并没有降低复杂性，而只是将其隐藏起来，不让用户看到。

这并不意味着解决方案停留在显示的复杂性上，而是必须满足系统接口设计的其他条件，才能使接口有利于提高人的表现和控制。

与AWS互动的一个基本要求是在使用前建立一个良好的系统心智模型（包括了解系统的自动化水平，以及它的行为是否适当，是否在预期的参数下执行），并了解系统的行为范围，以及系统随时间可能发生的变化，这是基于ML的系统的一个关键方面。这些要求必须反映在接口设计上，以及不同的培训需求上。

5. 人机接口设计方法

本节概述了高度自动化和自主系统中的接口设计方法，从“以人为本的设计”开始，然后是“以接口为重点的”方法。随着对人机合作或人-AI合作的讨论增多，接口设计的选择变得更加复杂。

人类系统整合（HSI）是一个起源于20世纪80年代中期的话题，涉及系统设计和实施中对人的考虑。它是一种“整体系统”方法，旨在实现跨系统的整合，包括人类、技术、操作环境以及这些元素之间的接口。如本节所示，AI和ML的引入（以及对人与人工智能合作的日益关注）揭示了传统或认知性系统工程方法的局限性，以及它们无法解决新系统需要如何适应的问题。

5.1 以人为本的设计

对接口设计人员的两个一般要求：

• 要了解各种任务和领域的机器操作员需要知道什么。

• 要确定如何以综合方式展示信息，以支持态势感知和决策。

将操作者需要知道的东西融入到流程中是以人为本的设计的基础。这种范式出现在20世纪80年代，以解决以技术为中心的范式中的缺陷，这种范式在传统上是标准的，它意味着接口首先反映的是创建系统的工程师认为必要的东西，或者他们认为相关的东西。

相比之下，以人为本的设计是一种系统设计和开发的方法，“旨在通过关注系统的使用，使接口式系统更加可用；应用人因学、人机工程学和可用性知识和技术”。以人为本的设计，无论它被概念化为以士兵、客户或用户为中心，都试图“围绕人的工作方式”来优化接口，而不是强迫人们改变他们的工作方式来适应系统。它将操作者视为“系统的一个组成部分，就像传感器或底层代码一样”，其能力必须被纳入设计。

在实践中，以人为本的设计遵循一个迭代的过程，在开发界面之前就开始了，需要通过对系统的“增量开发和迭代完善”来整合设计和评估，基于输入和反馈，了解用户，从一开始就整合他们的观点。在这个过程中，系统中可能会出现新的特性，或者人们会以不同的方式使用系统。这将影响到设计中的几个选择，包括操作者的认知负荷量，他们对系统的依赖，以及何时使用或何时关闭某些功能的选择。总之，这是一个“基于证据的进化修饰”的过程。

随着自主功能的增加，人们提出了以人为本的设计额外要求，以支持操作者对系统功能的理解。除了有效地提供决策所需的信息外，有人建议界面必须包括与自动化状态有关的提示（包括模式和系统边界条件），对模式转换的支持（包括对过渡到手动控制的必要支持），以及提供系统运行可理解性和可预测性的系统透明度。

5.2 以互动为中心的方法

最近的智能系统设计方法，从2010年代开始，着重于设计过程是由人类和机器之间的相互作用和相互依赖所形成的，并对其做出反应。

严格来说，接口始终是设计过程的一部分，只是方式不同而已，而且以人为本的设计的基本原则并没有被放弃。然而，在过去的十年中，研究更多的集中在捕捉人机接口的协作维度上，并且由于现在的技术能够更快速的适应系统的学习。这种演变突出表现在一个新的认识上，即建立有效的自主系统依赖于成功的人-自主团队或人-AI团队的方法，随着机器能力的扩大，人机接口能力也必须扩大。

例如，一种方法，即“合作设计”，评估了人类与机器人合作所带来的设计影响，在这种情况下，人类和系统同时参与完成一项任务，系统需要被设计为支持协调、合作和团队工作。这种设计方法将团队合作视为一个涉及双方（人类和人工智能系统）的过程，并以两者之间的互动存在的相互依赖为前提。

其他人类-人工智能团队的合作模式是以“动态任务分配”的形式提出的，这意味着风险最大、道德最突出的任务可以分配给人类，而其他决定则分配给智能体。这种方法要求解释成为人与智能体合作的内在组成部分（见关于可解释性的部分）和接口设计的一部分。

另一种被称为“共同适应性引导”的方法也是基于类似的原则，即界面需要根据用户的反馈进行调整，并校准认知的参与度、信任和随时间变化的期望。这种方法考虑到了人与系统接口中的“三个移动部件”，即：1）人类操作者不断变化的心智模型；2）地面上的事实也在变化；3）系统/AI模型本身也在变化。

这就要求接口能同步并表示系统的学习和适应。为了使这种接口有效，它还要求系统在能够提示操作员干预的意义上变得更像智能体，例如在某些情况下向他们传达“我需要输入”或“我不知道”。支持这种方法的共同适应性学习，也意味着系统的用户模型将指导它检测不一致或矛盾的信号，从而发挥保障作用。例如，如果操作员突然被替换，系统可以被完全关停。

其中一些原则被应用于自动驾驶汽车行业，该行业的接口设计越来越多地被视为“共同创造的过程”，这意味着它希望整合驾驶员的偏好或引入纠正元素，例如提示年轻驾驶员更加注意。在自动驾驶汽车行业，用户对接口的适应性被认为对该行业的未来和赢得对技术的更多信任非常重要，特别是在更高的自动化级别上。然而，自动化级别的提高将需要对驾驶员的数据进行权衡，包括更多的生物识别数据，因为“当你给予更多的控制和建立更多的信任，车辆需要了解你更多；现在你作为操作员需要被监控。”

在军事领域，在接口设计中使用生物统计学和神经生理学数据并不是一个新的想法，尽管目前它在很大程度上仍是探索性的。例如，在空中交通管制中进行的模拟采用了眼动参数来了解认知需求以及不同类型的显示（例如，杂乱的天气显示使飞行员提取相关数据的变得复杂）后认知工作量的波动。这样一个循环将评估用户的互动，并更新系统关于用户的状态和正在进行的认知负荷。

系统中需要更多“用户状态”数据的学术研究强调，随着系统获得更多的决策能力，人机合作取决于双方的信任要素。在自主系统的背景下，信任的含义是指嵌入系统中的验证机制。例如，这种机制将确保操作者的输入是一致的，并且没有受到压力的影响。

最后，另一种设计方法包括沉浸式接口，近年来在各个领域都有研究，包括自动驾驶汽车和无人驾驶航空器。沉浸式和沉浸式技术是指模拟的、动态的、包括丰富的三维空间和高保真运动等元素的虚拟世界。

虚拟现实（VR）和增强现实（AR）系统已经被用于军事训练和创造模拟环境。然而，沉浸式接口将被用于任务执行，以促进协作行为（即人机协作）。

沉浸式，作为一种设计选择，被认为是一种更自然的合作平台，并被作为一种实用的工具来推广，使物理世界和其镜像的视觉呈现具有相同的维度。以前曾有人提出，通过接口创造的距离感引入了一种“道德缓冲”，使操作者能够与他们的行为保持距离，并避免负面后果。

6. 培训方面的挑战

对AWS操作员的培训是控制的一个重要因素。例如，在致命性自主武器系统政府专家组的审议中，控制的特点在于武器的整个生命周期，其中也包括培训（见原文附件A）。

自主系统为人类操作者引入了新型的培训要求，这取决于系统接口的属性和复杂性。

首先，操作员需要更全面地了解系统，尤其是在系统功能范围和人类与机器之间的功能分配方面。此外，在使用人工智能的自主系统背景下，由于系统的发展和不断学习，培训是具有挑战性的。与静态系统相比，训练要求变得更加复杂。系统改变其内部模型的方式往往是不透明的，即使是其开发者也很难理解，而且很难提出一个操作员可以训练的学习模型，因为系统在不同的环境（如训练阶段与操作环境）下会有不同的学习。

6.1 了解自主级别和职能分配

任务的分配以及感知/归属的自主级别和自主系统的实际能力水平之间的关系，对于校准对系统的信任和依赖至关重要。在自主车辆方面的初步研究揭示了关于自动化水平或模式之间过渡的内在风险，以及当人类操作员（在这种情况下，司机）没有准确评估系统的限制会出现的意外情况。例如，在部分自动化系统和高度自动化系统之间，已经发现了一个特别脆弱的区域，当司机认为汽车比它在某一时刻更自动化时，就会导致撞车。

对一个系统的实际能力理解不足所带来的挑战也同样出现在军事领域，例如，2003年的爱国者自相残杀事件，美国陆军的爱国者导弹系统击落了英国的“旋风”和美国海军的F/A-18。该系统的显示很混乱，有时还不正确。操作人员有10秒钟的时间来否决计算机解决方案，并且缺乏“在一个高度复杂的例外管理制度中”的培训。

美国陆军研究实验室的一位工程心理学家根据此类系统的经验得出结论：“在培训不足的船员手中的自动化系统实际上是一个完全自动化的系统”。不充分的培训可能导致不正确的期望，无法应对系统故障，或无法推翻系统的行动方案，使其实际上“因疏忽而完全自主”。

自主系统方面的培训必须侧重于发展操作人员的专业知识。这包括定量和定性因素：

定性，更严格地关注系统心智模型的发展，并确保培训不仅仅是“习惯转移”（在使用新的接口时，这是一个常见的挑战，因为操作者会倾向于参考旧的模型）。这包括理解，例如，自主功能的程度，系统从一个环境到另一个环境的变化，以及系统最脆弱的地方或其不确定性等变量。

定量，包括改变培训的持续时间，或者改变更新培训的间隔。

然而，重要的是要注意到，在监督角色方面的培训仍然存在着人为的限制。在监督角色中保持警惕被认为是一项非常困难的任务。保持注意力是一个选择和培训的问题，现在众所周知，有些人比其他人更善于保持警惕。然而，即使有适当的选择过程和强制性培训，在重复性或监督性任务中花费更多时间将导致错误率增加。保持操作员注意力集中的解决方案取决于更复杂的因素，包括对自主功能的逐步使用，这将使人类操作员更好地了解系统，学习何时和如何恢复到人工控制，并避免失去责任感。

6.2 人类-人工智能团队的培训

最后，在人类和人工智能系统之间相互依赖性增强的情况下，越来越多的研究强调，必须对培训进行调整，以考虑到人类与人工智能的合作和团队精神。

这是因为人们期望随着武器系统自主水平的提高，人类和人工智能系统将作为一个综合单位协调执行高复杂度的任务。在这种情况下，培训不能仅限于知识的传授，它将越来越多地涉及到共同培训。这意味着双方将作为“同伴”进行互动，各自贡献自己的专业知识和采取行动的权力。在这种情况下，人类-人工智能培训的目的将需要集中在一起工作和相互学习上。

与人与人的团队训练相比，这需要在训练中进行两个重大转变：

感知上的变化，指的是偏见、信任和可验证性（人工智能系统的固有挑战）等问题，人类对人工智能系统的期望和要求，会导致对人工智能的负面偏见。

程序上的转变，其中包括新的任务工作和团队合作训练方法，包括需要在现场和合成环境中设计适当的基于模拟的训练。

这给人类操作员带来了额外的要求，他们需要了解：1）他们的角色；2）人工智能系统；3）如何与人工智能系统/队友互动；以及4）如何与其他人类队友互动。

这一领域的研究还处于早期阶段，一旦现有的团队合作和培训方法不能支持由于引入更多自主功能所带来的全部复杂性时，对这一领域的研究将是至关重要的。

方框3. “人与人工智能的合作”、拟人化和指导原则
在技术文献中使用诸如“同伴”或“团队”等与人工智能系统有关的概念（这让人联想到拟人化），并不是将先天系统置于与人类同等的责任和法律责任上。相反，其目的是强调这样一个事实，即随着更多的自主性，在人与机器的互动中会出现更多的复杂性和相互依赖性，而共同训练是了解系统、建立信任、实现有效的人与系统整合以及校准期望的唯一途径。SIPRI/ICRC的报告《武器系统自主性的限制》指出，在战略文件中坚持人机协作的概念表明，军方希望确保人类继续对AWS发挥代理和控制作用。然而，这可以说仍然是致命性自主武器系统政府专家组的考虑要点，它不提倡使用拟人化的语言（见指导原则的原则（i）），为基于致命性自主武器系统领域的新兴技术的武器系统制定政策措施。即使技术界采用“团队”等词语作为隐喻（而不是将机构分配给自主系统），也必须考虑如何在技术上使用拟人化的语言，而不是以违反这一原则的方式进行解释。
政府专家小组可以从进一步的阐述中受益。1. 是否需要根据技术学术中出现的人机互动的框架来进一步限定和阐述这一原则；以及2. 如何确保反拟态语言不被误解，以及它不会使对法律责任和问责制的理解复杂化。

7. AI的可解释性和透明度

智能系统的“黑盒”性质使与终端用户的互动变得复杂，并可能导致不准确的心智模型，从而产生太少或太多的信任。近年来，使人工智能更加透明和可解释的工作激增，因为人们逐渐认识到，人工智能的不透明性对系统及其决策机制的信任有负面影响。

嵌入在接口中的解释系统理论上可以在使用 AWS 期间减轻其中一些风险，但现有可用方法存在许多挑战（甚至潜在缺陷）。

可解释的人工智能（XAI）是专注于理解和解释人工智能系统（的行为）的领域。可解释性与透明度不同，因为可解释性以一种向后看的方式评估系统的过程，这意味着它在研究机器做了什么，并提供事后解释。相比之下，显示透明度提供对系统运行的实时理解。虽然在军事作战环境中，透明度可以说在支持实时决策方面更有价值，但可解释性和透明度在建立安全区方面都很重要。在时间允许的情况下，可解释性可以改善审查过程和系统的心理模型，这可以影响未来的SA。

方框4. 可解释性（Explainability和Interpretability）
Explainability和Interpretability是非常密切相关的，而且经常交替使用，尽管这两个概念是不同的。
Interpretability是指以人类可以理解的术语呈现输出的能力。它指的是一个系统提供足够数据的质量，以便人类能够预测结果。
Explainability是指“机器学习系统内部的逻辑和机制”，以及用人类术语解释这些机制的能力。
一个可解释的模型意味着输入-输出关系可以被正式确定，但它不一定意味着人类可以理解其基本过程。这种微妙的区别反映了XAI研究中的一个问题，即可解释的模型应该与人类的理解一致，还是与机器的模型一致。

方框5. LIME（当地可解释的模型-预知的解释）
LIME是黑盒系统中最流行的可解释性技术之一。LIME通过扰动一个局部数据集（如调整数值）并观察输出如何变化来提供局部可解释性。LIME的输出是以解释列表的形式出现的，反映了每个特征对预测的贡献。

7.1 XAI仪表板及其局限性

XAI的大多数方法都集中在可视化技术上，通过界面（接口）和仪表盘来显示AI过程的一部分。例如，解释界面的范围可以从对话框和显示概率的饼图形式的图形表示，到用户可以通过在几个算法中选择最佳算法与系统互动的交互式界面。可视化可以帮助促进对人工智能系统的更多信任，以及更多的人类代理。例如，研究表明，提供与系统的不确定性有关的信息可以提高性能，包括人类接管系统的性能。

方框6. XAI的标准
XAI的一个基本挑战是，通常不清楚它所依据的“解释”和“可解释”的标准是什么。换句话说，一个系统的可解释性是什么意思？解释到底应该是关于什么的？或者评估一个解释是否最佳或足够满意的基准是什么？评估XAI的测量标准是正在进行的研究的主题。测量标准的一些分组例子包括：
1.解释的“好坏”，评估一个解释的属性和元素，使其成为一个好的解释，它们应该是完整的、有逻辑的、渐进的、“非压倒性的”等等。
2.性能改进，分析解释在多大程度上使操作者在工作中使用人工智能来实现他们的目标或进行预测的测量。
3.对用户的理解/系统的心智模型的影响。

虽然“XAI管道”包括大量的ML模型和可视化分析方法，但它们仍然呈现出高度的复杂性，这使得它们大多只能被ML专家所理解。XAI的其他限制包括：

信任不是一个单纯的技术问题，它是一个动态的过程，可视化不能解决所有与信任有关的问题。

解释可以加强有缺陷的心智模型，它们可以用细节压倒人们，或者包括太多松散的东西，在可能需要进一步验证的情况下，它们可以成为有说服力的工具（从而导致过度信任的情况），而且它们可以被不同的用户得出不同解释。

在作战情况下，一些可解释的工具事实上可能会增加高强度作战负荷，例如当操作人员有有限的时间来审查系统的解释时。

7.2 XAI和自主武器系统

虽然更透明和可解释的系统应该比黑盒更受欢迎，但重要的是要记住，可解释性并不是提高信任度的必胜法宝，实施不好的方法可能会产生反作用。就AWS而言，需要更多的研究来确定系统透明度的最佳方法和透明度信息的类型，包括跨类业务的信息。例如，当考虑到之前提出的一些方案时，这一点就变得很清楚了，这些方案将界面显示元素，如概率百分比（例如，X是合法目标的87%的概率）给用户，作为加强对系统信任的方法。事实上，这样的方法会给人类操作者的决策过程增加更多的困难，而且除了“通过数字模仿与人类的关系”之外，没有其他任何意义，无法让操作者放心。87%的概率是否足以让我们继续和目标作战？剩下的13%又意味着什么？此外，这些信息应该以“87%的确定性”还是“13%的不确定性”来表示？

在假设的完全透明和可解释的人工智能背景下，也会出现其他的困境，这可能意味着现在出错的责任完全落在人类操作员身上。这种情况有可能给人类操作者带来不相称的责任和义务，因为人工智能不能被追究责任，因为不存在这样的机制。

XAI方法的未来发展虽然不是没有前景，但需要精心设计并整合到系统中，以便有效地促进人机互动，从而增强人类的信任和人类的控制。

8. 结论

AWS中的人机接口对于行使人类控制权非常重要，但在为操作者提供有意义的控制可能性之前，在设计和使用方面存在重大挑战和值得考虑的地方。

本报告对人机接口的几个方面进行了解读，同时在自主性和人机交互的背景下整合了讨论。本报告采用了自主车辆行业的一些见解，在过去十年中，对可控性的考虑有了很大的进步。

8.1 总体结论

对作为 AWS 子系统的 HMI 的研究揭示了人类控制的复杂性——作为一种通过接口设计嵌入、通过培训过程培养并通过特定技术属性（例如 XAI）辅助（或妥协）的能力。

在武器系统中引入自主功能和人工智能，特别是机器学习，扩展了人机交互的选择和模式；它使人机接口的设计和开发变得非常复杂，这意味着需要对人类操作员进行新型培训。

8.2 接口设计

自 1950 年代以来，接口设计方法已经从以技术为中心演变为以用户/人为中心，再到以交互/人- AI 团队为中心，反映了自主和自主功能的扩展。

GGE on LAWS 从政策角度考虑这些范式的意义非常重要，因为它们超越了技术升级并反映了人机交互的更深层次的变化，对人类控制具有直接影响。

8.3 培训

人工操作员的培训是人工控制的一个重要因素，在AWS自主性背景下以及接口变得更加复杂的情况下带来了新的挑战。

培训需要更清楚地了解AWS的限制、功能分配和系统故障，并且必须解决常见的行为因素（例如，自满），同时保持对责任和问责制的清晰理解。

8.4 Al的解释性

虽然被吹捧为通过引入更多的可理解性和可预测性可以作为减轻对技术的不信任风险的一种方式，但 XAI 仍然是自主系统固有的透明度和可解释性问题的有限解决方案。UNIDIR未来的研究将更详细地解决这一主题。

在努力提高人工智能系统的可解释性和透明度时，必须适当考虑不同类别的行动、背景和用户的军事需求。这必须伴随着对接口设计研究，以最佳方式呈现透明度信息和系统的漏洞，以校准期望值并增强对技术的信任。

9. 政策建议

本报告建议，致命性自主武器系统政府专家小组正在进行的和未来的工作应致力于：

对自主性背景下的人机互动问题，以及接口（界面）在人类控制中的作用进行彻底和细致的讨论。这应包括智能系统背景下的接口设计和人员培训、人工智能系统的可解释性问题以及对技术的信任等相互关联的方面。

更明确地阐述与人类控制有关的期望和目标，以指导人工智能系统接口的未来发展。专家组的讨论有助于向技术界提出人类控制的问题，但还需要更多的阐述，以确保人类控制的含义得到更明确的界定，并与各种类型的武器系统和作战环境相关。

讨论人与人工智能合作对人类控制AWS的影响。“团队”的隐喻并不表示人类和人工智能系统之间的地位平等，并坚持人类“仍然负责”；然而，它确实引发了关于人类控制意义的新问题。在探索这种模式的影响和挑战时，技术专家的投入是必不可少的。