军事目标定位算法中的黑盒性：需要重新确定人工智能可解释性的优先顺序

世界各国都在竞相利用人工智能（AI）的快速发展为自己的军事优势服务。在未来几十年中，基于人工智能的系统预计将彻底改变后勤工作，极大地改变瞄准过程，并为日益复杂和致命的自主武器系统提供动力。

加沙和乌克兰的武装冲突就是这一趋势的例证。 2023 年底，多家媒体报道了以色列广泛使用人工智能系统来识别目标的情况。以色列国防军 (IDF) 官员称该系统有能力将加沙的目标地点数量从每年 50 个增加到每天 100 多个，该系统在英语中被称为“Habsora”或“福音”。在乌克兰，四轴飞行器使用人工智能驱动的自主跟踪系统来锁定目标并运送致命的有效载荷。

随着将人工智能融入新武器和现有武器的这种转变的进展，学者和政策制定者一直在寻求找到一个可行框架，通过该框架可以有效地监管这些工具，特别是与目标定位和自主性相关的工具。由于存在如此多的不确定性，能够获得国家广泛支持的新法律规则仍然难以实现。

这篇文章揭示了围绕军事人工智能和目标定位的新兴文献中一个未经充分审查的挑战：现有的国际人道法（IHL）标准如何很好地映射到人工智能建模系统的使用上，而人工智能建模系统的功能对其用户来说仍然是神秘的，并且设计师？

黑盒问题

黑盒人工智能模型通常可以理解为任何其输入和操作对用户或其他感兴趣方不透明的模型。正如计算机科学学者所指出的，人工智能系统存在三种基本的不透明问题：（1）基于故意隐藏的不透明； (2) 由于技术文盲而导致的不透明； (3) 认知不匹配导致的不透明性。

军事人工智能系统可能会同时遭受这三种情况的困扰。有关军事人工智能目标定位平台如何运作的信息无疑将适当地处于最高级别的机密状态。此外，即使此类信息得到广泛传播，广大公众中也很少有人能够理解其技术基础，使该问题成为公共政策问题。

然而，第三种不透明性——人工智能系统和人类信息处理之间的基本认知不匹配——带来了最大的挑战。

人工神经网络（ANN）是目前人工智能领域最先进的系统，它带来了两个主要的可理解性问题。第一个原因源于其巨大的复杂性。人工神经网络需要无穷无尽的数据并创建数百万甚至数十亿个参数。生成的预测结​​果可能涉及数百万次数学和计算操作，使得从数据到预测的可追溯性在功能上变得不可能。也许更令人担忧的是，人工神经网络的架构和操作的本质在认知上与人类非常不同，正如一位学者所描述的那样，存在着根本性的“[模型的]本质和[人类]理解之间的不匹配”，因此，这些模型“无论我们在数学、计算或任何其他相关科学方面拥有多少知识，都无法理解。”因此，许多模型不仅过于复杂而无法将其参数追踪到输出，而且它们得出这些结果的方法无论如何都会使这种可追溯性在认知上不连贯。

解释在法律中的作用

解释在法律中起着至关重要的作用。在美国执法人员必须阐明证据和推理来证明逮捕的合理性，行政机构在颁布法规时也必须这样做，法官必须撰写冗长的意见来解释、合法化和制定法律规则。在国际法律领域，由于各国经济、文化和法律环境在质和量上存在巨大差异，因此在较高抽象层次上起草义务时，解释也同样至关重要。在国际人道法中，国家（有时是个人）行为的合法性常常取决于所提供解释的真实性。

随着基于人工智能的目标定位系统的使用激增，政府官员和设计这些系统的人员需要仔细考虑国际人道法的区分、相称性和攻击预防原则中所蕴含的可解释性的关键作用，而使用此类系统的指挥官将面临这一问题。

• 区分

区分原则和相关规则要求战斗人员通过合理判断来区分军事目标和平民。正是在这一领域，人工智能目标定位系统拥有最大的前景。此类系统能够摄取大量数据来识别模式，通常比人类操作员执行得更准确（当然也更快）。然而，这种理论上的优势很快就会变得更加模糊，超出了传统的基于地位的目标定位以及评估直接参与敌对行动的平民的目标。该标准具有如此的活力和流动性，以至于《海军作战法指挥官手册》表明，“国际法中没有对直接参与敌对行动的定义”，因此，“该领域必须根据“当时情况下的所有相关现有事实”做出诚实的决定。如果不了解人工智能瞄准系统输出的基础，就很难对指挥官不知道的事实做出“合理判断”和“诚实决定”。

• 相称

相称提出了更大的挑战。目标相称原则要求将预期对平民造成的附带伤害与预期通过攻击获得的具体和直接军事优势进行权衡。从本质上讲，相称性标准要求平衡两种本质上不同的利益，这两种利益本质上是主观的且取决于具体情况。人工智能系统或许能够以令人印象深刻的准确性计算对平民的潜在伤害，但评估军事优势不仅更加复杂，而且随着冲突的实际发展以及战术和战略目标和评估不断变化，它不可避免地是动态的。简而言之，特定攻击的优势可能会因更广泛的战略背景而异，而人工智能系统很难完全掌握这一点。此外，各国已经认识到参与比例平衡所规定的主观性类型是一种植根于人类判断的主观性类型。

例如，加拿大明确指出，指挥官必须对攻击的贡献有 “诚实和合理的预期”。也许更令人震惊的是，德国曾表示，在评估军事优势时 “不可能进行抽象计算”；这是对可编程性最严厉的结论。黑盒人工智能系统缺乏可解释性，这意味着指挥官可能无法理解人工智能系统是如何权衡这些因素的，从而导致对相称性评估失去未知的（可能是不可知的）控制。也许更糟的是，黑盒比例评估无法进行实时评估，只能在事后稍加缓解，这很可能导致试图对可能无法编程的东西进行编程时所特有的缺陷被严重掩盖。

• 攻击时的注意事项

最后，目标定位法的预防规则要求采取一切可行措施，避免或尽量减少对平民的伤害。就攻击而言，这包括核实目标确实是军事目标，并选择能尽量减少对平民伤害的攻击手段和方法。更笼统地说，《第一附加议定书》第五十七条第一款规定，缔约国有义务在 “进行军事行动时”“经常注意”不损害平民和民用目标。要履行这两项义务，就必须了解选择目标建议的依据。如果指挥官不了解导致确定攻击目标的信息以及如何权衡这些信息，就很难核实攻击目标。同样，“时刻注意 ”义务被理解为要求这些国家 “时刻了解局势”，以避免平民受到伤害。这种态势感知不仅要求了解造成可攻击性的信息，还要求了解所感知的军事优势和对平民伤害的最初评估。它还要求认识到情况是动态的。

重新确定可解释性的优先顺序

在监管军事人工智能应用和缓解公众担忧的工作中，人类决策者的重要作用受到了高度重视。黑盒人工智能模型从根本上损害了人类操作员的集成，使操作员不知道影响人工智能输出的上下文和推理。

对可解释人工智能（XAI）重要性的认识并不新鲜。 2016 年，美国国防高级研究计划局 (DARPA) 发起了一项倡议，声称XAI“如果未来的战士想要理解、适当信任并有效管理新一代人工智能机器合作伙伴，那么 XAI 将至关重要。”北约最初的人工智能战略将“可解释性和可追溯性”确定为核心原则，要求军事人工智能系统“适当地可理解和透明”。

不幸的是，最近的工作已经不再将 XAI 作为指导军事领域人工智能开发和使用的基本原则。北约修订后的人工智能战略虽然重新致力于其初始战略的核心原则，并认识到更复杂的“前沿”模型的出现，但没有提供与确保人工智能可解释性相关的一般或具体目标。美国领导的《关于负责任地军事使用人工智能和自主的政治宣言》根本放弃了任何可解释性或可解释性的提及。相反，它只承诺军事人工智能系统“使用透明且可审计的方法、数据源、设计程序和文档进行开发”，因此只解决模型的构成部分，而不是模型本身。

放弃 XAI 可能有几个原因。 ChatGPT 和其他生成式人工智能技术（其操作仍然神秘）的推出可能首先重视开发，然后再解决可解释性问题。人工智能研究人员所说的“性能与可解释性权衡”可能会进一步强化这种倾向。这种权衡表达了这样一种信念，即实现更好性能的人工智能模型（通常被外行人通俗地理解为“准确性”）往往更难以解释。简而言之，模型的性能越好，其过程和输出就越不透明和难以解释，反之亦然。

不难理解军事人工智能应用的吸引力。哪个指挥官不希望在执行行动时可以考虑更多的目标？这种目标识别的准确性比以往的程序更高，也进一步说明了这一点。然而，急于采用设计者和操作者都不了解的人工智能系统将不可避免地导致灾难。虽然黑盒模型可能（但也可能不会）比其更容易解释的对应模型提供更高的性能，但由于无法解释其输出结果，受托使用这些模型的人类就没有能力根据国际人道法所确立的以人为本的标准来评估这些输出结果。正如 DARPA 所说，同样无法独立评估或理解人工智能系统的输出结果，将损害士兵 “适当信任和有效管理 ”他们所部署的人工智能平台的能力。

参考来源：lieber institute