《使用自动化技术的军队的问责面》

要点

→ 在军事行动中使用武力的过程中涉及许多人员、决策和技术。这些接触点中的每一个都是出错时实施--或未能实施--问责的地点。

→ "问责面"是一个新术语，用来描述参与使用武力的人员在战争中造成不应有伤害的责任程度。

→ 作为一个隐喻，“问责面 ”强调了使用军事自主和自动化技术的一个关键问题：这种技术的使用会扩大还是缩小组织中任何人对其发挥作用的任何过程所造成的任何伤害负责的程度？

→ 自动化技术有可能大大降低使用这些技术的军队的问责面。

自动化战争的问责面

自动化技术是扩大了问责面，还是缩小了问责面？这当然是一个大问题。这也是目前大量技术和法律研究的基础。

但从目前已知的情况来看，有理由相信，自动化技术会对人类如何对自己的行为负责产生缩小的影响。首先，事情可能会出错。导致自动化或自主工具出错的因素有很多很多。人类用户在决策过程中发现和考虑这些错误的能力自然有限。有些类型的机器错误实际上是不可能在决策时发现、理解和考虑的。要知道机器的缺点（如偏见）何时与决策相关，更是难上加难。如果人类不可能考虑到系统中的错误，结果他们的决定导致了意外伤害，那么让他们为这些伤害负责是不合理的。因此，这些错误就成了无可指责的技术错误。

将责任推给那些建造、测试和验证系统的人也不完全公平。如果他们知道系统可能会出现错误，如果他们是出于善意行事，他们就会采取措施解决这个问题。没有人可以因为未能解决无人知晓的问题而受到指责。这就是为什么工程师们经常谈论人工智能系统必须足够好。但是，当平民的生命受到威胁时，“足够好”真的足够好吗？

一旦在现实世界中投入使用，这些系统的复杂性及其多种多样的失效模式就会与人类系统的复杂性相互作用，而人类系统的复杂性又会对军事决策中使用武力的情况产生影响。其结果是，分配伤害责任的总复杂性大大增加。在导致使用武力的众多决策中，任何一个决策的失误都可能连带影响整个决策链。分析阶段的错误探测会导致计划阶段对目标军事价值的错误分配。然后，这可能导致错误地分配资源来攻击该目标，所有这些都可能导致不良后果（例如，杀死附近的平民，或造成友军误伤事件）。如果做出这些决定的人无法发现人工智能系统的错误，因而无法追究责任，那么在链条末端做出决定的人也无法追究责任。

鉴于这种复杂性，当今的法律和程序不一定有能力处理介于明显的人为疏忽、恶意和纯粹无责的技术事故之间的灰色地带的伤害。支持或取代人类决策的工具多种多样。不同的工具以不同的方式发挥作用。它们有不同的架构、不同的复杂程度和不同的用户界面。它们将以不同的方式开发，由不同的部门拥有。这些系统的不同用户将接受不同的培训、纪律制度和责任文化。这就意味着，没有一套单一的人类控制或问责协议适用于所有这些系统。