推荐！《可解释人工智能及其军事意义》【译文】印智库ORF2022最新报告

引言

军事用途的潜力往往是世界各地技术创新的驱动力。近年来，用于国防目的的高度先进的颠覆性技术开发和部署显著增加，而人工智能（AI）已成为这一趋势的典型代表。仅仅在几年前，目前人工智能在军事行动中的应用范围会被视为虚构的素材。今天，随着致命性自主武器系统（LAWS）领域新兴技术的进步，以及人工智能和机器学习（ML）不断融入现有军事计算系统的后端，世界各地人工智能系统的军事应用只会在数量和强度上有所增加。伴随着这种激增的是确保所部署的军事人工智能系统与人类的使用更加兼容，并具有更小的错误幅度的新想法。其中一个想法是开发所谓的可解释人工智能（XAI），即人工智能和ML系统，使人类用户有可能理解、适当信任并有效管理人工智能。

本简报解释了为什么这种系统在军事上是必要的，什么是XAI，它是如何运作的，到目前为止它在哪里和如何被应用的例子，并评估了它的使用和监管。本简报使用了主要和次要的研究资料，包括采访来自不同地域和学科的专家利益相关者，他们目前或曾经来自政府、国防部门、民间社会和学术界。它旨在分析XAI在军队中的现状，并为更有针对性的研究铺平道路。

对 XAI 的需求

人工智能的双重用途特性确保了其开发和部署中用于民用目的的任何升级也可以应用于其军事对应物，反之亦然。例如，以色列军队使用面部识别软件来解锁手机并帮助自动标记社交媒体上发布的图片中的朋友，以寻找和跟踪巴勒斯坦的军事目标。乌克兰国防部也在使用同样的软件来识别潜在的卧底或死亡的俄罗斯士兵。在其他地方，阿塞拜疆在纳戈尔诺-卡拉巴赫冲突中使用基于人工智能的计算机视觉程序为特斯拉这样的自动驾驶汽车导航，为自主无人驾驶飞行器（UAV）导航。在美国，像那些为流媒体平台上的个人用户定制观看清单的算法，预计将成为武装部队认知设备的一部分，在通信受阻或资源有限的环境中为士兵提供建议。

事实上，从法国等拥有完善的军事人工智能生态系统的国家，到印度等在这一领域新兴的国家，全球各国都在投资数百万美元用于人工智能。这些国家认识到，人工智能是军事行动中的力量倍增器，通过上下文处理大量数据，识别趋势、模式、感兴趣的人和物体，在关键和非关键的军事功能中试行系统和程序，以及预测和建议行动方案，这可能有助于在高风险、时间敏感的情况下协助，或在某些情况下甚至取代人类决策。

人工智能也有可能用于防御性军事用途，并且可以被训练来识别、标记和消除恶意软件。在操作上，人工智能可以使军事团队保持或扩大作战能力，而不需要增加或提高人员力量，这两者都需要时间和额外的经常性费用，而军队可能无法或不愿抽出时间。

尽管有所谓的优势，然而，人工智能的军事用途并非没有重大挑战。人工智能系统可以被有目的地规划以造成死亡或破坏，无论是由用户本身还是通过对手对系统的攻击。即使根据适用的准则对人工智能系统进行了严格的测试和验证，也可能存在或发生不可避免的误差，从而造成意外伤害。事实上，即使是已部署的人工智能系统的 "常规"操作，也存在着只有在输出阶段才能发现的故障。在这一点上，这种疏忽的结果可能已经是不可逆转的，并可能在损害人员、设备和/或信息方面对军事行动造成不可弥补的损害。

此类故障的一个主要原因是有缺陷的训练数据集和命令，这可能导致关键信息的错误表述以及意外的偏见。另一个也许更具挑战性的原因是系统内的算法问题，这些问题对用户来说是无法检测和解释的。因此，众所周知，人工智能产生的输出是基于虚假的关联和不遵循预期规则的信息处理，类似于心理学中所说的 "聪明的汉斯效应"。

一项跟踪1988年至2021年各行业133个人工智能系统中公开可用的偏见实例的研究发现，44.2%（59个系统）表现出性别偏见，25.7%（34个系统）同时表现出性别和种族偏见，这是由于用于训练这些系统的数据集的质量以及它们的算法。移植到冲突环境中，部署这样的人工智能系统可能意味着，例如，一个属于该程序有偏见的种族的妇女，因此属于被偏见双重困扰的种族和性别的交叉人口，可能被自主武器系统（AWS）的计算机视觉或面部识别软件误认为是一个非人类物体。因此，即使自主武器系统被设计为不与人类打交道，该系统也会认为与她打交道是符合其编程规则的，并可能导致她受伤或死亡，因为它不认为她是人类。这种不准确的结果是被称为人工智能的 "黑盒"，即人工智能和ML系统内的算法处理，人类操作员无法解释或理解。

XAI 实验

为了应对黑盒问题以及在军事行动中应用黑盒可能造成的意外伤害，美国国防部下属的国防高级研究计划局（DARPA）在2016年开始了一项多项目计划，开发 "白盒"或 "玻璃盒"XAI，以确保AI系统的可解释性和可理解性，并带来有效的人机互动（见图1）。虽然'XAI'这个术语相对较新，但这个想法却不是：自1970年代中期技术研究人员研究专家系统的解释时，'可解释性'问题就已经存在了。在DARPA宣布之后，围绕XAI的兴趣越来越大，一个利基研究生态系统开始出现，以了解如何使双重用途的人工智能应用更加可解释和可理解。

虽然对XAI是什么没有统一的定义或定性--计算模型、人工智能应用的最佳实践或两者的混合，但来自技术和非技术领域的研究人员都潜心开发或以他们自己的方式解释XAI。软件专业人士试图设计基于人工智能和ML的系统，以测试系统对人类终端用户的可解释性，并观察到大多数实现XAI的方法往往属于两大类之一：事前和事后。

前期方法包括使用能够执行低级人工智能功能的基本模型。它们确保了人工智能系统在整个信息处理过程中具有内在的可解释性，因为它们的处理和决策都很简单。同时，事后方法是指在自己独立的处理模型中，将从另一个底层黑盒模型中收到的输出赋予透明度。这些方法可以是模型不可知的，即适用于任何类型的被视为黑盒的模型；也可以是模型特定的，即仅限于在某些类型的模型上操作，与某种模型逻辑相对应。

虽然这两种方法都确保了可解释性的阈值，但发现前述方法在现实世界的应用潜力和可扩展性方面受到很大限制。据观察，性能较高的人工智能系统由于产生其输出的更复杂的处理过程，其可解释性和可理解性仍然较低，而性能较高的系统由于其简单的参数和信息处理，默认为性能较低。

然而，假设性能较高的人工智能系统会比性能低的系统做出更准确或无偏见的决定，这是不正确的。衡量人工智能系统的性能水平与发现其缺陷和理解其以某种方式处理信息背后的原因有多难成正比。这种性能-可解释性的权衡仍然是XAI的一个主要问题，而较新的模型和方法的开发仍然面临着解开它的挑战。

探索 XAI 的应用

XAI的持续发展被设想为引领 "第三波 "人工智能系统的到来，在这种情况下，人工智能机器能够理解它们所处的背景和环境，并建立自己的基础解释模型来描述真实世界的现象。虽然围绕人工智能的研究最初是由于美国的军事利益而出现的，而且美国一直是这一领域的先驱，但在过去的五年里，世界其他地区也出现了人工智能的民用用途。这些都为可解释和可理解的人工智能系统是各方面的优势创新这一想法提供了全球的合法性。

到2019年，谷歌、微软和IBM等大科技公司已经推出了各自的XAI工具包。富士通实验室和日本北海道大学等医疗服务提供商宣布开发一项基于XAI的新技术，通过识别患者过去医疗数据的相互联系，为他们的健康提供定制化建议。在金融服务领域，由中国第一家数字银行WeBank牵头的XAI标准开发项目于2020年获得电气和电子工程师协会（IEEE）的批准，这标志着世界上第一个专门解决人工智能在银行应用中的黑匣子问题的行业标准。

XAI的这种应用证明了人工智能系统及其相关功能的普遍性，并强调了主要为军事目的引入的技术如何能够具有跨领域的民用效用。此外，XAI的民用应用的相对低风险功能可以使其在民用架构中的应用比军用架构更快，最终在潜在的军事部署之前为其某些用例特征提供了一个无意中的测试场。

鉴于今天的国防形势，一些国家已经启动了将人工智能纳入其国防架构的项目。例如，美国计划在2022年花费近10亿美元开发数百个新的军事人工智能项目，中国的目标是利用人工智能积极实现战争战术的 "智能化"，俄罗斯正在逐步开发150个支持人工智能的军事系统，以色列正在努力系统地将人工智能纳入其军队的所有系统中。印度政府今年也表示，它计划在2024年前开发出25种国防专用人工智能产品。虽然开发和部署人工智能似乎是一个最近的问题，需要对国防技术和人工智能伦理之间的交叉点进行更深入的分析，但一些国家已经公开宣布他们打算这样做。

2020年，瑞典国防研究局启动了关于XAI在军事中使用的研究，其多管齐下的目标如下：a）支持军事终端用户创建人工智能系统如何运作的心理模型；b）允许专家从人工智能系统的隐藏战术和战略行为中获得洞察力和提取知识；c）帮助开发人员识别缺陷或错误，并在系统部署前解决这些问题；以及d）更有效地遵守战争规则。

同年，印度海军在INS Valsura号上开始通过征集论文探索在海上行动中开发和应用XAI的可能性。他们的理由是，在使用人工智能技术时，由于黑盒的存在，往往存在信任上的差距，如果决策者不信任人工智能在国防部门推荐的决策，高层就不愿意采用这种技术。

美国国防部今年也进一步涉足XAI，并征集开发XAI模型用于指挥和控制决策辅助工具的申请，以用于多域作战（MDO）的战争游戏。最近，在2022年6月，英国国防部（MoD）结合他们的《2022年国防人工智能战略》发布了一份政策文件，强调了国防中人工智能的道德使用原则。其中一项原则名为 "理解"，强调了黑匣子问题如何使与国防有关的人工智能系统难以解释，但解释和理解系统的机制必须是系统设计的关键和明确的一部分，贯穿其整个生命周期。本文考虑了英国信息专员办公室（ICO）和艾伦-图灵研究所与Project ExplAIn合作的先前工作--三人早些时候在2020年发布了一份关于XAI的文件，以符合法律要求以及技术和治理最佳实践的方式，为解释人工智能系统做出的决定提供实用建议。

很明显，许多国家已经开始为国防目的更具体地参与XAI，但至今还没有监测和分析任何进展指标的例子。它们对XAI的承诺和在军队中的运作的有效性，只能在几年的较长时期内确定下来。

来自 XAI 的期望

XAI显然是人工智能范式中一个备受关注的主题，但围绕它的迷恋是合理的吗？

虽然XAI无疑有其优势，但它的发展和部署也引起了合理的关注。其中最重要的是它的性能与可解释性之间的权衡：如果可解释性--这是XAI的主要属性，也是其他道德AI方法的基础--与AI/ML系统的性能相反，政治家和立法者会认为继续研究和投资XAI有好处吗？对XAI的重新研发可能最终会带来突破，即有效的XAI模型可以被整合到高性能的人工智能系统中，但目前还没有迹象表明这种发展的时间安排。

即使出现了这样的突破，它是否足够？一些专家认为，在XAI系统中可能总是存在可解释的缺陷，因为系统提供的每一个解释都会掩盖另一个潜在的解释。因此，我们的愿望不应该是用有效的XAI模型来全面完成高性能的人工智能系统，而应该是一个更简单的，尽管也更难实现的XAI模型，它提供了关于人工智能系统信息处理的背景清晰度--谁需要知道什么，以及XAI模型应该如何向他们展示这些。一个建议的方法是通过设计来确保这一点：设计一个所需解释的框架，由XAI模型沿着这个框架生成解释，并由机器学习支持的终端用户对输出进行评估，以确保未来更好地遵守该框架。

除了试图修复XAI模型中的性能-可解释性权衡之外，还必须考虑操作中的人类部分，因为他们往往成为科技化的指挥链中最薄弱的环节。对原始DARPA项目的监测和评估表明，用户解释XAI模型提供的解释的认知负荷会阻碍用户的表现。这意味着，即使XAI模型向人类操作者解释他们的过程，后者也需要精通动态的、往往是不统一的模型。通过适当的培训，必须确保XAI模型的终端用户对人工智能功能的可理解性，否则，系统的可解释性将毫无意义。由于即使是人类也不能证明自己的所有行为，因此需要制定具体的原则来规范用户对XAI所提供的解释的接受程度。

还应通过对XAI系统的研究来制定原则，最终导致制定人工智能在其独立领域使用的标准和许可。例如，欧盟（EU）在2019年批准了一个为期六年的项目，研究XAI的民用应用前景和细节，重点是如何设计ML模型的透明度，产生可控的黑箱解释，并制定人工智能的伦理和法律标准。民间社会也渴望开发可解释的负责任的人工智能解决方案，尽管这只是为民事应用打下基础。

在应用诊断框架方面，来自谷歌、微软和IBM的研究人员在2019年创建了两个负责任的人工智能许可证（RAIL），这构成了世界上第一个独立、认可的负责任的人工智能认证计划。许可证在可解释性、公平性、问责制、稳健性和数据质量这五个方面对人工智能/ML系统进行测试，以确定其作为负责任的人工智能应用的地位。在类似的行动中，责任人工智能研究所在2022年发布了他们的RAII认证的测试版，该认证是在世界经济论坛（WEF）的全球人工智能行动联盟（GAIA）下开发的。RAII认证是通过风险效益分析、校准评估框架、与专家验证结果、以及由独立委员会测试和评估结果的强大过程来最终确定的。

军事XAI的支持者应该推动复制类似的标准和许可，以便在军事AI架构中进行整合，确保其AI系统内的可解释性、可靠性和偏见问题在制度上得到解决，无论在个别情况下是否有政治意愿这样做。例如，一些国家不愿意承担对致命性自主武器系统进行标准化法律审查的义务，而倾向于采用更加自愿和/或依靠自身参数的内部审查。虽然军事XAI标准或认证将是重要的第一步，也是同期的解决方案，但从长远来看是不够的。私营公司和军事承包商等单一的利益相关者零散地开发XAI和相关的负责任的人工智能框架，可能包括潜在的既得利益和后续标准化的问题。军队中的XAI需要有独立的监督和有效的治理机制，而不是把它当作军事AI开发的另一个勾选框。

结论

XAI的开发和使用，特别是在军事应用中，仍然是新生事物，既没有明确它是如何被全面开发的，也没有一个标准化的方法来规范已经开发或正在开发和部署的内容。在对军事领域的XAI进行分析时，有两个关键启示。

现在，技术超越法律的情况越来越普遍，在军事人工智能等领域更是如此，这些领域是激励技术革新的先锋。虽然XAI通常会被看作是一种具有积极价值的技术，但归根结底，它只是军队使用的另一种工具，和其他工具一样有其固有的优点和缺点。因此，它需要在一个治理框架内发展，以指导其有效和道德的使用，并防止其容易被潜在的滥用、无效或多余。

对XAI的研究似乎仍然是零散的、部门性的，而且大多集中在某些地缘政治空间，这造成了知识孤岛，限制了新思想的传播。此外，具体到军事领域，围绕XAI有很多理想主义，因此需要进行批判性的分析和平衡的研究，以便对其前景提供一个整体的视角。未来对这一问题领域的研究应寻求弥合这些差距，进行更多跨学科和跨部门的分析，同时尝试收集和纳入来自不同背景的观点。

【中英文版请上专知查阅】

专知便捷查看