《军事域可解释人工智能》

在现代社会中，从移动应用程序组件到医疗支持系统，人工智能（AI）几乎无处不在。在具有社会影响力的人工智能系统中，人们越来越关注不透明的人工智能，即不清楚如何或为什么会做出某些决策的人工智能。这导致了最近关于“可解释人工智能”（XAI）的研究热潮，或者说是让人工智能更容易被人类用户解释和理解的方法。在军事领域，许多机构都认为，自主和人工智能武器系统不应包含无法解释的人工智能，红十字国际委员会和美国国防部都明确将可解释性作为开发和使用此类系统的相关因素。本文对这一观点进行了谨慎的批判性评估，认为可解释性与许多当前和不久将来的军事自主系统（不包含任何人工智能）无关，可解释性将被纳入大多数拥有人工智能的军事系统（因为这些系统通常拥有更简单的人工智能系统），而对于那些人工智能真正不透明的系统，可解释性的价值将比人们想象的更为有限。特别是，本文认为可解释性虽然确实是设计中的一种美德，但这种美德主要针对人工智能系统的设计者和故障排除者，而对于实际部署这些系统的用户和处理者来说，其相关性要小得多。进一步指出，在负责任地将人工智能用于军事目的方面，人机协作是一个重要得多的要素，并补充说，可解释性可能会破坏为改善人机协作所做的努力，因为它给人一种初步印象，即人工智能由于其可解释性，在使用时可能很少（或较少）犯错。最后，想澄清的是，这些论点并非反对 XAI 在军事领域的应用，而是要提醒人们不要过度夸大 XAI 在这一领域的价值，但也不要忽视这一方法的局限性和潜在隐患。

自主武器、军事领域的人工智能以及可解释性

在开始讨论人工智能、自主武器或军事中的不透明系统之前，至关重要的是一开始就明确对这些术语的确切理解，因为 "未充分发展或未充分阐明的观点可能，而且很可能会导致混乱、错误以及大量时间和精力的浪费"。因此，本节将专门简要解释我在本文中所说的 "自主武器系统"、"人机协作"、"人工智能"、"不透明 "和 "可解释的人工智能"。不过，值得强调的是，我并不是在为所提供的定义或理解争辩（因为存在合理的分歧空间），而只是在澄清这些术语的含义，因为它们将在下文中通篇使用。

现在，由于围绕军事领域人工智能的许多争论都集中在自主武器系统（AWS）上，我们将从这些系统开始。在过去的十五年中，学者、国家和非政府组织对 AWS 下过很多定义。不过，红十字国际委员会和美国国防部提出的定义已被越来越多的人所接受，即 AWS 应被理解为在选择和攻击目标所需的 "关键功能 "方面具有自主性的武器系统，它们可以在没有人为干预的情况下选择和攻击目标。这一定义抓住了自主武器系统的基本特征，即它们在执行核心任务时是自主的，但并不意味着这类系统拥有任何复杂的内部人工智能程序，也不意味着它们是不透明的、不可预测的，甚至不一定是致命的。事实上，根据这一定义，从反辐射导弹到近距离武器系统以及许多其他系统，有许多 AWS 已在世界各地使用了几十年。

在评估任何这些系统的影响时，同样至关重要的是，不仅要关注系统本身的能力和局限性，还要注意这些系统如何与人类整合成具有凝聚力的单元。这就是所谓的人机协同，与战争中的每一种技术都息息相关。在高端技术中，我们可能会想到像无人驾驶飞机这样的系统，它们可以自主执行复杂的任务，甚至可以选择目标并与之交战，但人类要对其进行监督，并对不同的交战决策开绿灯。在这种合作中，人类必须充分了解系统、系统的能力和局限性以及交战环境，从而能够胜任地评估系统的可靠性，并在必要时停止系统的运行。但是，人机协作也可以延伸到战争中最低级的技术项目。

对于战争中的任何技术系统，即使是步枪，其提供优势的能力都与将其整合到有能力和可靠的人机系统（或也许是人-器系统，对于枪支这种简单的东西）中的能力密切相关。此外，负责任地使用任何技术系统都要求使用这些系统的人类对系统本身有足够的了解。这是人机协作的核心。

回到自主武器和人工智能，虽然目前使用的许多 AWS 确实几乎没有使用人工智能，或仅启用了初级人工智能系统，但这种情况已经在迅速改变。因此，我们必须明确 "人工智能 "的确切含义。按照一些人工智能研究先驱的说法，我们的定义可能 "希望表明与我们在人类行动中看到的智能范围相同：在任何实际情况下，在一定的速度和复杂性限制范围内，可以出现符合系统目的并适应环境要求的行为"，或者我们 "关注的是在可用信息具有一定复杂性的情况下实现目标的方法"。

因此，军事系统拥有 "人工智能 "的程度将取决于该系统在数据不足的情况下适应环境的能力。在这种有限的条件下，系统越是能够完成目标并确保收益，我们就越有理由认为它具备人工智能能力。而由于军事系统通常会在信息和资源有限的情况下运行，因此开发越来越复杂的人工智能系统将面临压力，即使这意味着这些系统的透明度或可理解性可能会降低。这就引出了不透明和推动可解释人工智能的问题。

随着人工智能系统变得越来越复杂，人类越来越难以完全理解、了解或解释它们是如何运作的。这可能是由于简单的实际限制（例如，人工智能使用了太多相互关联的功能和算法，即使原则上可行，人类也无法解析代码），也可能是由于真正的理解障碍（例如，人工智能使用了机器学习方法或深度神经网络，使人类无法理解底层推理过程）。在这种情况下，我们可以认为这些系统是不透明的，或者使用另一种术语，我们可以称这种系统为"'黑盒子'......一个我们知道输入和输出，但看不到它将前者转化为后者的过程的系统"。在军事领域，这种 "黑盒子 "似乎提出了一个独特的棘手问题，因此，XAI 的研究工作由军事研究人员率先开展也就不足为奇了，美国国防部高级研究计划局（DARPA）开展的项目使这项研究的能见度越来越高。

为了弥补这些困难，XAI 试图"（1）在保持高水平学习性能（如预测准确性）的同时，产生更多可解释的模型；（2）使人类能够理解、适当信任并有效管理新一代人工智能伙伴"。更简单地说，"可解释人工智能（XAI）系统的目的是通过提供解释使人类更容易理解其行为"。鉴于最近 XAI 研究的蓬勃发展，人们提出了许多方法和途径，但总的来说，所有方法都旨在实现上述目标 1) 和 2) 的某些版本。在军事领域，这一点也不例外，因为设计和部署可能不透明的人工智能系统的人总是要在速度和精确度的军事优势与道德和法律需要之间取得平衡，即系统既要可预测，又要让使用这些技术的战斗人员充分理解。

作为最后一点，值得明确的是，在接下来的论证中，我始终假定参与军事领域人工智能开发和部署的行为者（至少）是本着诚意和战争道德与法律的精神行事的。至少，我假定这种诚意要求努力遵守日内瓦四公约《日内瓦第一附加议定书》第 36 条，即在开发或采用一种新武器时，各方应努力 "确定其使用在某些或所有情况下是否为本议定书或任何其他国际法规则所禁止"。在此基础上，鉴于假定行为体秉持善意行事，我们可以进一步假定，军事领域人工智能系统的编程一般会默认设置为保守的瞄准参数；也就是说，自主系统和人工智能系统的设计将以尽量减少瞄准中的误报为目标，并以误报的预期增加为代价。

有了这些粗略的定义基础，我们现在可以进入论证阶段。不过，在此之前，应该再次指出，我并不是说上述任何定义或理解都应被视为定义或在某种意义上 "优于 "其他观点。我所选择的定义要么与广泛的学术研究相一致，要么反映了中央政府和非政府组织的观点，但探究其他定义及其影响也是有价值的。在本文中，我们将从上述理解出发，但我们也可以从其他角度来审视这些问题。

初级 AWS 和人工智能

长期以来，先进国家的军队一直可以使用至少具备初级人工智能的自主武器和系统。重要的是，目前使用的绝大多数自主武器要么是先进的自主弹药，要么是根据相当明确的目标参数运行的反装备平台。对于这些武器来说，可解释性的问题是没有意义的，因为这些系统在大多数情况下并没有利用任何形式的人工智能。相反，反辐射导弹定位并攻击发射与雷达站和干扰器有关的无线电信号的物体，反坦克弹药利用地震、声学或高频雷达跟踪重型车辆和装甲，用于导弹防御的近程武器系统主要以飞机的速度和航向作为参数来确定某物是否构成威胁。在这些系统和其他类似系统中（其中许多已使用了几十年），人工智能是不必要的，通常也不存在（也许除了有限的目的）。因此，可解释性与 AWS 本身并无特别关系。相反，关键的价值在于可预测性；如果作战人员能够可靠地预测预警系统在其计划部署的环境中将如何运作，那么这就足以负责任地安全使用此类系统。此外，如果一个较简单的预警系统是可预测的，那么部署它的作战人员就没有明确的理由需要解释它的 "行动"。知道它什么时候能正常工作，什么时候不能工作，并据此作出相应的反应，就足以合乎道德和法律地使用这些系统了。知道系统在特定情况下为何会做出特定的瞄准决定，可能有助于作战人员更快地掌握部署 AWS 的 "该做和不该做"，但一个人不必是工程师或程序员，也能认识到某些战场情况可能会导致事故。毕竟，武器系统使用方面的训练是为了让战斗人员了解这些系统何时能用、何时不能用，但了解这一点并不要求这些系统的使用者也成为这些系统的故障排除者、维修者和设计者。无论如何，有许多没有人工智能的自主武器，对于这些武器，XAI 是不需要的。

然而，除了更简单的 AWS 外，我们还看到越来越多的先进人工智能系统的发展，这些系统的运行可以大大减少人类的监督，并能完成更复杂的任务。事实上，全球主要大国正日益陷入人工智能军备竞赛，弗拉基米尔-普京声称 "人工智能是未来......"。[普京声称，"人工智能是未来，谁能成为这一领域的领导者，谁就能成为世界的统治者"，习近平补充说，"科学技术已成为全球大国竞争的主战场"。为了回应这种立场，美国最近宣布计划在未来两年内开始使用数千套新的自主系统

然而，关于人工智能重要性的声明，甚至使用更多数量和种类的 AWS 的计划，并不意味着人工智能在军事领域将迅速被不透明的 "黑盒 "系统所主导。相反，对于那些当前和不久的将来确实拥有某种形式人工智能的系统（这只是军事领域所有自主系统的一部分）来说，其中许多系统使用的都是较为初级的程序，这些程序（很可能）是透明的。至于那些可能不透明的方面，通常与人工智能的无异议应用有关。例如，美国国防部高级研究计划局（DARPA）的 "空战进化"（Air Combat Evolution）计划就利用了人工智能研究领域的许多最新突破，开发出了能够有效参与 "狗斗"（近距离空对空交战）的自主人工智能系统。在最近的一次比赛中，即 "阿尔法狗斗"（AlphaDogfight Trials），人工智能飞行员甚至能够在多个领域可靠地超越人类。这些人工智能系统非常复杂，而且由于其设计和训练方式，几乎可以肯定它们可能做出的一些决定是不透明的。然而，在喷气式战斗机之间的空对空战斗中，出现目标错误或新的不受欢迎或道德可疑行为的可能性要小得多。因此，即使出现不透明的情况，也不会自动意味着存在问题，或需要 XAI。出于各种原因，解释可能证明是有用的，但解释具有价值并不表明缺乏解释就会反对某种人工智能系统或将其部署到战区。

军队中的高级 AWS 和人工智能

初级 AWS 通常不具备人工智能，对于许多具备人工智能的 AWS 来说，人工智能简单或直接，默认情况下是透明的。而对于目前军队中许多不透明的人工智能系统来说，它们的不透明并不一定会损害其在伦理或法律上的可容许性（因为不透明可能只会影响到伦理上中立的决策或默认情况下极少出错的决策）。然而，随着人工智能的不断改进，不断被应用于更多的任务，不断变得越来越复杂（同样，也越来越不透明），可能开始出现有必要将 XAI 作为负责任地使用人工智能系统的基本要求。在本节中，我将对这一宽泛的结论提出异议。特别是，我认为 XAI 往往与负责任地部署人工智能无关（尽管它可能在人工智能设计和生命周期的其他阶段具有价值），丰富和深度集成的人机团队是减轻不透明可能带来的负面影响的更强有力的方法，而 XAI 甚至可能会破坏负责任的部署，因为它充当了一种形式的许可 "检查框"，从而减少了强大的人机团队的动力。

不可预测的 AWS 和不透明的人工智能

人工智能系统可能实际上是不透明的，因为在其后台运行的（相互关联的）功能和算法的数量和复杂程度都很高。此外，围绕深度神经网络（或更广义地说，利用机器学习进行训练）设计的自主武器或人工智能系统原则上也很可能是不透明的，因为设计师或工程师无法完全跟踪系统学到了什么，以及它是如何从训练输入和操作数据到离散输出的。一些作者进一步认为，机器学习不仅会影响系统的不透明性，而且实际上也会使人工智能系统在本质上具有不可预测性。如果我们回到上文第 2 节对智能的定义，就会明白为什么会出现这种情况。

如果我们以上述方式来理解 "人工智能 "系统，那么可以预见的是，这些系统将有能力以我们认为不可预测的方式行事。这是因为，这些系统需要在海量数据采样的基础上接受训练，才能有效或负责任地部署。然而，这种训练不可避免地不会包括它们可能遇到的每一种情况，或者至少不会包括从每一个角度、在每一种环境、在每一种天气等情况下可能遇到的每一种情况。很简单，系统需要训练到足够强大的程度，但在实际部署过程中，它仍然需要在信息不完整或在训练过程中没有直接遇到信息的背景下做出判断。这样一来，这类系统几乎总会有一些固有的能力让我们大吃一惊，原因很简单，因为我们不可能训练它们应对所有情况，当它们遇到一些新情况（或以前遇到过的情况，但从一个新的角度来看）时，它们可能会以新的方式行事。重要的是，这并不是说它们必须具备原位或实时机器学习能力，因为这会导致更深层次的不可预测性，并给负责任地部署此类系统带来巨大挑战。但是，系统必须能够根据所接受的训练，在训练者预见到的环境中，以及在可能涉及意外变量的环境和背景下，以部分新颖的方式实现目标。此外，这种适应性问题解决有时可能会导致我们无法完全预测的行为。至少，这一点似乎是可信的。然而，我们无法完全预测某些行为这一事实并不意味着这种行为是不可预测的（在某种令人不安的意义上）。为了说明这一点，让我们看看联合国裁军研究所（裁研所）最近的一份报告中霍兰-米歇尔关于可预测性的论述。

米歇尔指出，我们无法 "事先知道无人机将采取哪些确切行动"，尤其是在考虑到系统结构不透明的情况下。然而，被派去执行类似任务的人类战斗员也是如此。事实上，如果我们考虑完全确定的计算机系统，即每个输入都有明确的唯一输出，那么对于这些系统来说，我们也无法事先知道它们到底会做什么。这是因为我们无法事先知道它们会遇到什么。不过，尽管我们不知道它们到底会做什么，我们还是知道在某些情况下它们会做什么。对于像米歇尔想象的那样被派去执行任务的人类战斗员来说，情况也是如此，只不过程度要轻一些。因此，问题不应该是我们能否预测会发生什么，而是我们能否预测在各种输入条件下会发生什么。为了论证起见，让我们假设不透明本身就削弱了我们做到这一点的能力，即可靠地预测在特定输入条件下会发生什么。XAI 是否会大大改善这种情况或消除这种不可预测性？

为了回答这个问题，我们必须首先区分以下几种系统：一种是真正自主的系统，在部署时不需要同时进行任何形式的人类监督（人类离环）；另一种是系统自主运行，但其决策可能被人类推翻（人类在环）；还有一种是人类至少部分控制了系统的（部分）功能和目标决策（人类在环）。首先来看离环 AWS 和人工智能系统，我们会发现 XAI 在这些系统的部署过程中无法发挥真正的作用。

如果我们设想的是真正的自主武器系统，其中包含不透明的人工智能，那么这些系统在执行任务时将没有任何同期人类监督。在设计这些系统时，如果能对所做的每一个决定提供可理解和有帮助的解释，就能极大地促进对这些系统进行快速有效的训练；如果系统犯了错误或做了一些新奇的、不需要的事情，提供其 "推理 "也同样能简化故障排除过程。然而，对于在没有人类监督的情况下运行的人工智能系统来说，在部署过程中解释的价值为零。不仅如此，还不可能在部署前对解释进行有用的审查，作为对系统预期可靠性的一种 "检查"。这首先是由于米歇尔刚才所讨论的对可预测性的担忧；人工智能系统可能有能力为其行动提供解释，甚至是事先解释，但我们无法事先确切知道系统在部署过程中将遇到什么，或者即使我们能知道，我们也无法知道将如何遇到特定物体或目标的确切细节（接近角度、环境温度、物体的视觉和其他照明，等等）。这些因素都很可能与机器的决策过程高度相关，因此，唯一可能事先给出的解释将是罗列可能相关和可能遇到的各种因素。这样的清单必然会包含过多的项目，无法在部署前为人类提供有用的帮助，或者需要对其进行修剪和整理，从而忽略掉可能会对决策产生影响的潜在输入数据组合。简而言之，对于没有同期人类监督的系统而言，事实前的解释几乎可以肯定要么太多而无法证明有用，要么有限但无法完全代表机器可能遇到的情况（或两者的某种组合）。即使能克服这些问题，还有一个根本性的障碍，那就是离环系统在机器运行时无人审查决策（尽管在部署前或部署后可能会有人审查）。因此，虽然 XAI 可以改善此类 AWS 部署前或部署后的开发和故障排除，但它不会在部署期间为这些系统提供有用的工具。

人类在环上或环中的系统又是怎样的呢？如果人类可以推翻机器的决定，或者是决策过程的一部分，那么解释，尤其是可理解的解释，似乎可以帮助我们更可预测、更可靠、更负责任地使用这些系统。然而，在我们过于迷恋这种可能性之前，我们有责任应对与 XAI 相关的挑战，以及在军事环境中部署人工智能时可能带来的风险。本小节和下一小节的其余部分将专门探讨其中的一些风险和挑战。

第一个可能令人担忧的领域是 XAI 系统的设计，以及所提供的解释对负责监督部署到作战环境中的人工智能系统的作战人员是否真正有益。这是一个需要小心谨慎的重要领域，因为拙劣的解释或没有突出人工智能评估所依据的正确因素的解释很容易导致错误。例如，Rudin（2019）介绍了一个负责识别图像的人工智能系统的案例，说明了错误的 "解释 "如何可能导致系统混乱、过度自信或信心不足。事实上，Rudin 的例子围绕着一张狗的图像和两张随附的热图展开，热图显示了人工智能在两次识别图像时发现的相关点。两张热图非常相似，但其中一张热图解释的是人工智能系统在评估 "动物是西伯利亚哈士奇的证据 "时发现的相关点，而第二张热图显示的是 "动物是横笛的证据 "时发现的相关点。在这些大相径庭的评估中，"解释 "的相似性表明了解释的缺陷和误导性。

考虑到现代战争的节奏，以及人工智能系统的监督者需要快速做出决策，这一点尤其成问题。如果作战人员看到人工智能系统在各种情况下都表现出色，并且总是将所给出的解释与目标瞄准决策的理由相联系，那么完全有可能不容易或不可靠地注意到有缺陷的解释。不仅如此，如果解释强调了错误的因素或没有包括人工智能容易识别错误的方面，就可能无法为战斗人员提供任何重要的机会，在必要时进行有把握的干预。这并不是说解释一定会有这样那样的缺陷，或者不能做得很好，而只是想说明，如果执行不力，XAI 可能会带来严重的风险。

人们可能希望通过包含更丰富的解释，或强调解释中包含哪些因素、排除哪些因素以及各种输入数据的权重，来减轻上述担忧。然而，正如提供过少（或无益）信息的解释可能会造成问题一样，提供过多信息的解释也会造成问题。首先，一个显而易见的问题是，现代战争对作战人员的时间要求越来越严格，这限制了他们参与冗长而复杂的解释的能力。此外，还有一个额外的困难，那就是足以澄清机器推理过程中可能潜伏的潜在问题的解释很可能是复杂的，会深入到系统编程和训练的各个方面，或者需要介绍大量的因素（因为人工智能系统做出的每一个决定都可能涉及许多细节）。这些可能会对作战人员提出更高的要求，要求人工智能系统的部署人员除了接受作战人员的训练外，还要接受计算机科学家和工程师的训练。无论如何，XAI 必须在过多和过少的解释之间取得平衡，因为任何一端都会带来风险。

不过，这些都是设计上的问题，也许我们可以合理地认为这些问题会得到及时解决。即便如此，在人工智能系统的部署过程中纳入 XAI 很可能会对负责任地使用这些系统造成进一步的障碍。首要的问题是，提供丰富、易懂和翔实的解释可能会让人认为，人工智能系统的部署可能会更加容易，或有可能拥有经过普遍训练的用户，能够可靠和负责任地处理各种此类系统。

这里有两个不同的问题。第一个问题是，XAI 的存在可能会让人认为，在类似系统（但不是要部署的确切系统）上训练有素的人类可以可靠地使用其他系统。行动解释的存在，再加上人类普遍接受过人工智能系统的训练，可能会让人相信，人们可以相对轻松地在不同系统之间进行切换。然而，不透明的系统，即使是对其行动做出解释的系统，在做出每个决定时也会有许多微妙的因素。这些微妙的因素可能并不总是出现在解释中，如果解释足够紧凑和简单，在战斗中可以使用，那么这些微妙的因素就很可能不会出现。因此，要理解这些因素并对其做出反应，就需要此类系统的处理人员对所部署的特定系统非常熟悉。然而，XAI 可能会导致 "一种训练适合所有情况 "的看法，破坏负责任部署所需的人机团队合作。

其次，与此相关的一点是，XAI 还可能导致一种观念，即人类可以简单地 "操作 "人工智能系统，而根本不需要以丰富的方式与之合作。这是因为丰富翔实的解释可能会让人相信或普遍认为，只要以批判和深思熟虑的方式参与解释，并充分了解系统和作战环境，以便在系统可能犯错时进行干预，任何人都可以利用系统。然而，如上所述，所提供的解释不太可能包括支撑具体交战决策的所有微妙因素和线索。此外，要掌握特定人工智能系统的微妙之处，可能需要人类对该系统的运作有一定程度的深入了解和第一手资料。这可能只有通过将人类与机器组成丰富的团队（理想情况下，涉及系统和人类的合作训练），人类才能获得。通过部署可解释的人工智能系统，但将其置于未入门（或入门不深）者的权限范围内，我们将面临重大的错误风险，原因仅仅在于这些系统的 "用户 "不具备相关知识，无法知道哪些解释本身可能存在疑点，或哪些解释可能需要额外审查。

综上所述，XAI 显然对人工智能的军事用途具有价值。不过，这种价值主要与设计和故障排除有关。了解人工智能系统采取某些行动的原因，可以极大地帮助工程师和程序员开发系统，使其对收集到的环境信息做出正确反应，做出保守的目标选择，并按照战争的法律和道德要求行事。同样，如果人工智能系统在部署过程中犯了错，或开始表现出新奇的、不受欢迎的行为，可解释性可以使故障排除过程变得更快、更简单、更有效，从而体现出巨大的价值；人工智能系统越能清晰地识别并传达其采取某些行动的理由，工程师、程序员和机器训练师就越能更好地处理导致其采取不受欢迎的行动的程序或训练方面的问题。这些都是 XAI 可以促进用于军事领域的人工智能系统的发展和改进的方式。

然而，这些都是与部署前和部署后阶段相关的任务，并不表明 XAI 极大地促进了人工智能在离散军事应用中的负责任使用。此外，上述论点表明，XAI 在交战期间往往无关紧要，甚至可能适得其反。核心问题在于，XAI 如果成功，将为战斗人员提供更多信息，但这并不一定意味着这些信息得到了很好的利用。更重要的是，XAI 与人机协作没有先天或必然的联系，因为人类可能会与系统配对并接受适当的训练，但并不一定能深刻理解系统究竟为何这样做。此外，人机协作是在军事领域负责任地使用人工智能的核心因素，虽然 XAI 有可能补充这些协作，并改善作战人员在战场上部署先进人工智能的能力，但关键是，这种成功将首先取决于协作本身，最好的情况是得到 XAI 的进一步帮助，最坏的情况是受到其破坏。因此，我们应该谨慎乐观地看待可解释性为作战目的部署人工智能的战斗人员带来的好处。

人机协作

对于不透明和潜在不可预测的自主武器和人工智能系统而言，解释可能有助于更好地设计这些系统或改进存在缺陷的系统，但不可能减轻这些系统在实际军事使用过程中的不透明和不可预测的负面影响。此外，丰富翔实的解释可能会削弱人们对强大人机团队的认知需求，而正是这些团队对人工智能在军事领域可靠、可预测和负责任的使用至关重要。特别是，我们必须确保从训练人工智能系统到部署人工智能系统的整个过程中，我们都将发展人机团队，并着眼于由专门的处理人员负责单个人工智能作战系统（或可能是由相互关联的系统组成的小组）。

基于伍德（2023b）中提出的论点，值得强调的第一点是，对于不透明的人工智能系统，我们应该重新思考如何与它们打交道。特别是，我们应该摒弃将人类视为这些系统的 "用户 "的说法，而是将人类视为人工智能系统的 "部署者"，或者更确切地说，是 "处理者"。更进一步说，我们应该将人工智能系统的行为以及我们对其产生的影响概念化，将其与动物的行为进行相关的类比，而不是与其他技术人工制品的行为进行类比。这样做的原因有很多，但让我们简要地概括一下要点。

如果我们假定行为者是善意的，那么军队中使用的不透明人工智能系统就不会是简单地建造然后部署。相反，它们将接受广泛的训练，以熟悉尽可能多的情况和复杂因素。它们还将在某些变量容易导致错误或失误的情况下，接受大量作战情况的测试。事实上，负责任的开发人员会 "竭尽全力寻找问题，然后找到解决办法"。所有这一切都将导致系统虽然仍有潜在的不透明性，但在大量情况下都能以可预测的方式运行。然而，尽管我们能够大致预测它们的行为，但这种不透明性加上系统自身内在的自主行动能力，将意味着人工智能系统能够以完全不可预测的方式行事。换句话说，负责任地开发的人工智能系统总体上是可预测的，但却能采取不可预测的行动。

这与战争中使用的动物战斗员的情况相同。动物长期以来一直是人类战争的一部分，扮演着各种各样的角色，但为了具体起见，我们可以把不透明的军事人工智能系统想象成战斗突击犬。这种狗要接受大量训练，与极度了解它们的人类搭档，并投入战斗状态，执行某些人类无法完成或人类无法像狗一样完成的任务。重要的是，由于它们接受训练的数量和质量，以及它们与人类搭档的质量，战斗突击犬一般都具有很强的可预测性。但即便如此，它们仍能自主行动，并能以新奇的方式行事，有时甚至是不受欢迎的方式。人类训犬员有责任识别出犬在什么情况下会做出不可预测的行为（无论出于什么原因），并做出相应的反应。虽然法律对动物战斗员的规定存在空白，但在出现错误时，要求训犬员承担责任也是合理的。

将这一点与 XAI 的讨论联系起来，负责动物战斗员的人类饲养员一般都非常了解他们的四脚朋友何时会表现正常，何时会变得不可预测。然而，动物的思想是无法探知的，驯兽师也不可能弄清动物行为的确切原因。很简单，动物是不透明的。不过，这种不透明性并不意味着它们完全不可预测，甚至也不意味着它们通常不可预测，或容易做出不可预测的行为。但重要的是，动物战斗者的可预测性与谁来预测有很大关系。

对动物负责的饲养员可能对动物的行为有非常可靠的预测能力，而其他战斗员则可能完全不知道。此外，一个人对某些动物行为内在原因的一般理解也可能无法提供很强的预测可靠性。因此，动物心理学家也许能说出一般情况下是什么驱使了狗，它们做出某些行为的原因是什么，甚至在战斗情况下是什么驱使了特定的狗。然而，从外部来看，心理学家对某些狗的行为的预测能力很可能远不如其驯养者。即使心理学家对驱使动物的根本原因有更深入的了解，情况也很可能如此；熟悉和相互信任所提供的信息远比单纯的解释要多得多。最后，还有一个关键点，即饲养员不仅要知道动物何时会出现不可预测的行为（可能是不受欢迎的行为），还要知道动物何时会出现可预测的不当行为。可预测的不当行为是在何时何地部署自主智能体的一个关键限制因素，而了解何时可能出现这种情况，最好是通过人类和其他智能体的丰富合作来实现。此外，向不熟悉智能体（不管是狗还是人工智能）的人提供解释，不太可能突然传授负责任地部署这些从属智能体所需的一般理解。为了说明这一点，请看一个例子。

每一种嗅探形式都相当独特，很容易区分。此外，不同类型的嗅探会导致我可能或必须采取不同的行动。如果它在寻找上厕所的地方，我就应该带它去一片草地。如果它是在漫无目的地寻找食物，谨慎的做法可能是给它拴上狗链（尽管这并非必要）。如果它清楚地知道食物就在附近，并试图抢在我之前找到食物，我就有责任立即把它拴起来（我们常吃的一些食物对狗来说可能是致命的毒药）。无论如何，很明显，它为什么要嗅闻会影响到我的责任。此外，这些类型的嗅探使它变得可以预测。不过，重要的是，它对我（和我妻子）来说是可预测的。另一个对巴迪不熟悉的人只会看到一只狗在嗅。不仅如此，我还可以详细解释每种类型的嗅觉是什么样子，它们意味着什么，以及人类应该采取什么应对措施。然而，即使是这些也可能无济于事。毕竟，如果它是因为知道有食物而嗅闻，那么它的嗅闻就会更快更疯狂一些。但对于不了解情况的人来说，自然会问 "比什么更快更疯狂？在不了解它的情况下，在对它的惯常行为、它所表现出的标记以及相关因素没有基本了解的情况下，这样的解释是没有什么意义的。不仅如此，我还肯定会注意到一些视觉线索和其他线索，但我自己无法完全解释清楚。事实上，人类是不透明的，我们的不透明意味着我们无法完全理解为什么我们有时会知道某些智能体会或不会以某种方式行动。很简单，熟悉会滋生一种理解，而单纯的解释是无法捕捉到这种理解的，我们忽视了这一点，就会给自己带来危险。无论是对动物还是对人工制品的熟悉都是如此；每一个养狗的人都知道，你的狗所做的一些事情你的大脑会下意识地理解，即使他们无法用语言表达他们理解的是什么；每一个战斗机飞行员、坦克手或其他依赖机器生存的军事专业人员都对机器有一种理解，这种理解不是从教科书和解释中产生的，而是坐在机器里面简单地获得的。

最后，还有一个问题是，如果某些(一组)系统实现了 XAI，就有可能导致人工智能系统的部署不那么负责任。这是因为过分强调可解释性可能会导致 XAI 被视为允许使用人工智能系统的某种 "检查框"。然而，如上所述，系统的可解释性有可能是无益的，而更能理解解释的个体在实际预测智能体在动态环境中的行动时也有可能不那么称职。因此，AWS 或军用人工智能系统在原则或实践上是可以解释的，但这并不意味着操作员和处理人员可以理解解释或根据解释做出可靠的预测。真正的努力需要在信任和团队合作上，而不是在技术成就上，做不到这一点可能会导致灾难性的后果。举例来说，伊朗航空公司 655 号航班被击落，这是与人机协作失败有关的最致命的军事失误之一。

美国海军文森斯号导弹巡洋舰配备了最先进的宙斯盾作战系统，其机组人员将一架民航客机误认为是伊朗的 F-14，由于 "对系统的能力过于自信，再加上人机界面不佳"，他们对飞机进行了攻击并将其击落，导致机上 290 名平民丧生。虽然当时文森斯号上的系统实际上可能是不透明的，但原则上没有任何东西可以使它们变得似是而非的不透明。不仅如此，使用当前的 XAI 方法使它们变得透明和可解释当然也是可行的。但这不是重点。伊朗航空 655 号航班被击落，并不是不透明的系统或对宙斯盾作战系统内置程序缺乏了解造成的。它是人机协同和各作战单元之间合作的一系列失误造成的，而只要促进这些单元之间更好的沟通，就可以避免事件的发生。同样，部署期间的核心问题不在于系统是否可以解释，而在于系统（无论是否可以解释）是否能很好地整合到可靠的人机团队中，这些团队表现出合理的信任度，并且每个人都知道什么时候该依赖系统，什么时候不该依赖系统。

作为本节的最后一句话，我再次强调 XAI 确实有价值。只是这种价值不在战场上，而是在设计和故障排除实验室中。因此，这并不是说我们应该放弃 XAI，而是说我们应该认识到其好处的局限性。否则，我们可能会被过度夸大的研究项目所蒙蔽，而无法认识到其他价值（如人机协作）的极端重要性。此外，我们可能会发现自己有了一个 "道德检查框"，它允许系统被部署到战场上，即使没有人能够负责任地处理它们或可靠地预测它们的行动。

结论

XAI 在军事领域确实具有价值。通过使不透明的系统变得可解释，人工智能系统可能会得到更快速、有效和可靠的训练，设计人员可能会更快地消除可能导致错误或新的不想要的行为的过程，而当系统确实以不想要的方式行事时，可理解的解释可以大大简化故障排除工作。然而，我们也必须明白，XAI 所能提供的好处是有限的。不仅如此，我们还必须注意这样一个事实，即在某些情况下实施 XAI 也有可能导致错误，而且它可能会削弱人们对训练有素的人工智能系统处理人员的认知需求，因为这些处理人员非常熟悉这些系统的推理能力、局限性和怪癖。因此，XAI 可以帮助我们更安全、可靠、负责任地开发和维护军事领域的人工智能系统（部署前和部署后价值），但不加批判地全面实施这些方法也会带来巨大风险。

最后，值得强调的是，本文的总体意图并不是要论证 XAI 在军事领域是好是坏，而是要强调其价值将取决于具体情况，并因参与解释的人员而异。对于工程师、设计师和故障排除人员来说，解释几乎肯定是有益的，因此应尽可能将其纳入其中。然而，XAI 对改进（或削弱）没有同期人类监督的人工智能系统几乎没有帮助，对于那些有人类参与或在环的系统，XAI 可能会对负责任地部署复杂的人工智能系统造成障碍。但最重要的是，负责任的部署首先需要强大的人机团队，其中人类充当人工智能的 "管理者"，而不是 "使用者 "或 "操作者"。在发展这样的团队合作时，将战争中的人-动物团队类比为一个有用的出发点，可以让我们了解到，如果我们将潜在的不透明人工智能系统仅仅视为人工制品，只要对其推理过程有一个解释，就可以很容易地理解和预测，那么很可能会出现什么样的风险和陷阱。