如今，很难想起有哪个领域、系统或问题没有使用或嵌入人工智能来解决。从AI发展的早期阶段开始，其技术和工艺就被军事力量成功地用于不同的军事行动中。由于网络空间代表了最后一个官方认可的作战战场，它也为在其内部或通过其进行的军事行动实施人工智能解决方案提供了一个直接的虚拟环境。然而，规划和开展基于人工智能的网络军事行动仍处于发展的初期。因此，从业者和学术界都需要付出努力，因为AI的使用可能会产生重大的影响，这就要求这种智能解决方案的输出可以向开发它们的工程师和他们的用户（例如军事决策者）可解释。因此，本文首先讨论了军事网络行动中目标定位的可解释人工智能的含义，接着分析了在不同目标定位阶段嵌入人工智能解决方案（如智能网络武器）的挑战，并将其结构化为设计框架中的相应分类法。它通过跨越目标开发、能力分析和目标交战的瞄准过程来实现这一目标。此外，本研究认为，特别是在这种无声无息、以难以置信的速度进行的作战中，相关的军事力量意识到以下几点是非常重要的。第一，嵌入的智能系统所做的决策。第二，不仅意识到，而且能够以适当、有效和高效的方式解释从人工智能解决方案中获得的结果。由此，本研究得出了可能的技术和以人为本的方法，促进XAI解决方案在军事网络行动中成功实施目标定位。

关键词：网络行动、网络武器、军事行动、目标定位、人工智能、可解释人工智能

1. 简介

自17世纪以来，基于经典的OODA（观察、定向、决定、行动）循环进行了一系列的战争，跨越了地方战争和世界大战，并进入了今天和未来的战争。因此，“观察”方式从望远镜（17世纪的战争）转移到无线电和雷达（二战），再到网络（未来的战争）。“定向”从几周（17世纪的战争）转移到几小时（二战），并将是连续的（未来的战争）。“决定”从几个月（17世纪的战争）转为几天（二战），并将是即时的（未来的战争）。“行动”根据季节（17世纪的战争），转变为几周（二战），并进入到几分钟（未来的战争）（Lehto，2016）。这些发展是可能的，因为科学界和行业专业人士提出并继续推动重大技术进步。在这些发展中，人工智能找到了自己的位置。不管是用于规划优化、目标识别还是效果评估，人工智能在网络空间处理的不同预测、模拟或探索问题上都显示出令人印象深刻的结果（Samek & Müller，2019）。在这里，行动是利用网络武器/能力来实现其内部和/或外部的军事目标（Maathuis, Pieters & Van den Berg, 2018a），对目标和附带实体产生（未）预见的（直接）影响（Maathuis, Pieters & Van den Berg., 2018b）。与其他军事行动相比，网络军事行动是在沉默中高速进行的，允许早期的情报收集和准备，并意味着根据目标的脆弱性、性质、目的和背景建立网络武器的不同选择。在这些时刻，所做的决定和考虑的影响，必须对相关的利益相关者来说是清楚和可以理解的。

机器学习，特别是深度学习，是人工智能不断发展和成功的核心。虽然这些范式的改进、可及性和使用代表了一种思维方式的改变和以数据为中心的应用的转变，但也意味着理解和处理所做的决定和模型获得的结果：这是一项复杂而困难的任务。然而，最近，这个方向的一个起点是DARPA计划（DARPA, 2016），旨在通过一套考虑可解释性-性能权衡的设计方案来创建人类可理解的人工智能模型。这条研究路线引起了不同领域的学术研究者和从业者的兴趣（Adadi & Berrada，2018），但目前还缺乏XAI的理论和一个普遍认同的定义（Samek & Müller，2019）。此外，特别是在这个领域，对于目标定位来说，重要的是决策者意识到哪些数据和如何使用数据，因为在这个战场上，数据可能是稀缺的，或者可能来自几个战场，了解模型在网络空间内部和外部采取哪些决策，并意识到提出的结果，以便在作战领域以最小或无风险的方式适当整合和部署，因为由于网络空间的特点，如相互连接和动态性质，这种风险及其相应的影响可以在数字和物理上大规模地经历。鉴于上述方面，在网络军事行动中理解和应用XAI是一项复杂的任务，必须从多个角度加以解决。在这个问题上，据我们所知，XAI还没有在军事网络背景下被定义和解决，因此我们旨在解决这个问题，有以下目标：

**为军事网络行动中的XAI提出一个定义和共同理解。
通过技术-军事和社会-伦理的视角，解决军事网络行动中XAI的挑战，重点关注目标定位过程的第一个阶段。
提高决策者对设计和实施用于军事决策支持的XAI模型的认识水平和责任感，并扩大军事网络领域的范围。
为设计军事网络领域的XAI战略、标准和方法做出贡献。此外，强调对当前和未来决策者进行XAI教育的必要性。

为了实现这些目标，在广泛的文献回顾和分析基础上进行了多学科研究。此外，本研究的贡献有两个方面。首先，合并并强调在掌握、开发和评估XAI时应考虑的各个方面，重点是军事网络行动中目标定位的三个阶段。其次，作为一个设计框架，为决策者提供具体的发展建议。

本文的其余部分结构如下。第2节讨论了关于XAI的理论和实践方面的相关研究。第3节处理了目标定位过程，同时反思了本研究所关注的阶段。第4节讨论了提出XAI模型的必要性，反思了不同类型的参与利益相关者，分析了良好解释的特征，并提出了该领域中XAI的定义。第5节考虑了不同类型的解释、解释方法、以及解释方法的评价标准和机制。第6节探讨了XAI在军事网络行动中的目标定位方面的挑战。第7节对本研究的结果进行反思，并讨论了未来的想法。

2. 相关研究

在过去的十年中，人们对发展人工智能技术的普遍兴趣大大增加，这对于在不同领域提出XAI的理论和实践方法来说，是非常有意义的。

关于XAI的含义和发展，Arrieta等人（2020）总结了以前的工作，认为XAI被广泛认为是人工智能模型实际部署的一个关键特征，并将这种模型的受众定位为理解它时的一个关键因素。因此，其中一个思考点是XAI所涉及的受众和利益相关者。Preece等人（2018）将可解释性和可诠释性没有达成共识的事实归结为不同的利益相关者群体必须处理这些问题，并进一步描绘了这种观点的重叠和不重叠之处。此外，Samek、Wiegand和Muller（2017）认为需要XAI的原因如下：系统验证、从系统中学习以及遵守立法。Gerlings, Shollo & Constantiou (2020)使用社会技术视角来分析XAI实施的技术和治理方面，例如，遵守法规和GDPR以及偏见和误解的最小化。其中，Mohseni、Zarei和Ragan（2021）分析了不同的解释以及模型应该解释的内容，进一步推进了一系列方法，例如，使用用户满意度和解释有用性等标准衡量的解释满意度。因此，Vilone和Longo（2020）对解释类型、解释方法、评价策略以及未来的研究思路（如人在回路中的方法和交互式接口）进行了广泛回顾。作为XAI的发起者，DARPA（2016）建立了一个成功的计划，该计划在2018年最终完成，不同的团队在XAI模型的设计、实施和评估方面从事技术工作，还有一个团队致力于寻找、定义和应用解释的心理学理论。此外，Hamon, Junklewitz & Sanchez (2020)讨论了欧盟委员会关于人工智能模型透明度的愿景：i) 使用模型的技术原理加上其设计使用的数据表示法来记录人工智能处理链，ii) 人工智能模型的可靠性，这与它们避免因边缘案例或恶意意图而失败或故障的能力有关；iii) 模型中的数据保护，通过技术和组织控制维护安全和管理风险。此外，人类有权利获得GDPR第71条所强调的解释（Hamon, Junklewitz & Sanchez, 2020）。此外，美国国防部为维护法律、道德和政策，对应用于（非）战斗功能的人工智能采用了一系列道德原则：负责任、公平、可追踪、可靠和可治理（美国国防部委员会，2019）。

作为应用，Streich等人（2020）分析了XAI在解决与联合国可持续发展目标相对应的生产可持续农业系统的技术问题方面的潜力，Shukla、Fan和Jennions（2020）为建立用于综合车辆健康管理的XAI提出了指导方针，该指导方针由人类专家使用子系统的健康评估信息及其飞机效应来理解。在医疗领域，Holzinger等人（2017）解决了开发方法的可能性，即重现XAI模型在不同过程中采取的机器决策过程。在工业领域，Guo（2020）认为可解释性使信任成为可能，即6G技术的一个关键质量，因为它正在管理广泛的关键任务服务，如自动驾驶，Lai等人（2020）利用最终状态粒子的能量动量四向量编码的信息，实现了一个具有高能粒子碰撞的基础物理学的XAI模型，使用GANs。

在军事领域，Bistron & Piotrowski（2021）讨论了嵌入人工智能技术的应用及其对安全感知的影响，并表明军事应用是负责人工智能发展的应用之一。此外，Preece等人（2019）以城市地形分析和增强资产互操作性为例，将多领域行动中的ISR要求与建立XAI模型以产生强大的人机决策的需求进行了对比，Hepenstal和McNeish（2020）认为，在设计军事和安全XAI解决方案时，应仔细考虑所建模的问题的背景和性质以及涉及的人类。特别是，Maathuis, Pieters & Van den Berg（2020）提出了一个多层模糊XAI模型，用于军事网络行动中的效果评估和决策支持，Keneni等人（2019）提出了一个XAI模型，描述了无人机在预定任务中的决策逻辑。

这些资源捕捉到了在军事网络领域定义和提出人工智能解决方案时应该考虑的重要方面，但并不是为其量身定做的，这对于建立可信任、可解释和可问责的军事智能系统是必要的，这些系统在执行网络军事行动时设计、实施和使用，其效果可能因其性质而跨越地理或数字边界。因此，本文的目的是解决这一知识差距，提出军事网络领域的XAI的定义和模型，思考其相应的挑战，并进一步讨论可能的解决方案。

3. 军事目标的确定

为了打击对手和实现目标，网络军事行动是通过以多种方式影响其目标（嵌入ICT元素或直接的网络目标）来进行的，例如，破坏通信过程或改变受众的行为。在这个过程中，在建立基于人工智能的解决方案时，应该考虑到双重用途的性质、连接性、动态性、不确定性和网络空间中存在的归属问题等特殊性和挑战，这也是开发基于XAI的解决方案的直接原因。

开展网络军事行动的核心是军事目标选择过程和相应的交战规则（RoE），这些规则规定了每次行动中的交战情况和限制（北约，2016年；美国陆军，2018年）。对目标选择过程的定义是：在考虑作战要求和能力的同时，选择目标并确定其优先次序，并对其作出适当的反应。这个过程包含六个阶段，如图1所示，下面是总结（北约，2016；美军，2018；Boothby & Schmitt，2012）：

第一阶段（指挥官的意图、目标和指导）：确定明确的目标以及在哪些情况下和行动中应该实现这些目标，提供政治和战略指导，创建进一步的行动任务，并提名目标。
第二阶段（目标开发）：对符合条件的目标进行分析、审查、验证，并确定优先次序，从而形成一份优先目标清单。其中还包括附带损害估计和情报损益评估，这意味着指挥官可能不会为了消极影响这一过程而与目标交战，但会在目标选择过程中从结果中受益。
第三阶段（能力分析）：对目标进行分析，并与产生预期效果的能力相匹配，同时尽量减少附带损害，即评估相称性和进一步制定CoA（行动方案）。
第四阶段（指挥官的决定、部队规划和分配）：根据获得的结果，考虑到任何相关的限制和约束，进一步分配给特定的部队进行规划和执行。
第五阶段（任务规划和部队执行）：在战术层面进一步规划和执行任务，同时进行最后的目标PID（正面识别），并进行其他信息检查和避免或减少附带损害。
第六阶段（评估）：对所产生的效果进行评估，然后实现所确定的目标，进一步促进更广泛的评估，为其他行动提供投入，并吸取教训。

图1：军事目标选择过程

经历这些阶段，大量的程序、方法和模型被应用于合并不同来源和类型的数据，即系统、过程和人。无论数据是否被进一步处理并用于建立模拟、预测或综合智能模型，模型的决定、输出和可能的影响都应该被军事决策者正确理解和论证。正是在这种情况下，考虑到XAI的挑战和可能的解决方案，我们进一步定义和分析了XAI。

4. 界定可解释的人工智能

尽管它听起来是过去十年中人工智能领域的主要议题之一，但XAI在五十年前就已经有了根基。从那时起，智能系统的可解释性和可诠释性的重要性实际上增加了（Hansen & Rieger，2019），并且由于机器学习和深度学习的不断发展而重新成为一个焦点，虽然深度学习在众多任务中证明了其性能，但本质上仍然无法以人类可理解的方式解释其决定。换句话说，正如Preece等人（2018）所强调的。"这不是一个新问题，也不曾被认为是一个已解决的问题"。但是，为什么在军事网络行动中使用XAI？更具体地说，XAI的原因和目标是什么？我们认为有以下原因：

首先，使用智能系统的军事网络行动不仅对其目标，而且对附带资产都可能产生（不）直接、（非）预期的影响。特别是在非预期影响方面，正确理解目标在物理和数字上的定位，以及在早期作战状态下哪些漏洞更容易被利用，情报的得失，以及如何选择和准备交战（第二-第三阶段），可以促进第五阶段智能网络武器（基于XAI）的成功部署。

其次，再加上了解为什么以及如何实施和使用人工智能模型，对于理解模型做出的决定并进一步将其传达给相关的系统、流程和人员非常重要。特别是，如果在第三阶段对网络武器进行了适当的匹配，那么它的选择应该为第四至第五阶段的执行计划和参与提供相应的论证和沟通。

第三，由于锁定目标是一个由多个团队进行的持续过程，重要的是所使用的人工智能模型（如目标定位、网络武器选择和效果估计）的功能机制和决策是合理和透明的，以促进和加强相关实体的控制、信任和问责（Adadi & Berrada, 2018; Burkart & Huber, 2021）。此外，这允许与法律检查、战略目标和社会道德价值观直接对应和映射。

而且，根据目标、活动以及考虑的粒度，理由清单还可以继续下去，并评估网络空间的不确定性、动态性和强大的互连性方面。然而，正如这些原因所反映的，XAI首先是关于理解，同时保持高水平的性能（Gunning & Aha, 2019），其次是以对人类友好的方式保持适当的沟通，第三是关于所使用系统的理由、信任和责任。正如Russell & Norvig（2021）所认为的。"解释不是决定，它们是关于决定的故事"。因此，我们采取（Molnar, 2020）的立场，即人类 "渴望在世界中找到意义"，在评估了牛津（Oxford Dictionary, 2021）和剑桥（Cambridge Dictionary, 2021）字典中没有对 "可解释"一词的定义后，我们看到最接近的术语是 "解释"，意思是一个理由，一个事实，或一个对事物的借口。此外，对于军事网络行动中的XAI的定义，我们与（DARPA，2016；Arrieta等人，2020；Doran等人，2017）的定义观点一致，认为XAI是：

网络军事领域的XAI = 人工智能的一个子领域，涉及方法、技术和工艺的设计、开发和使用，为嵌入不同网络军事系统和流程的人工智能系统的功能机制、决策和结果提供理由和事实。

这个定义可以简化为一系列（网络）agents，它们相互作用，并利用一系列工具来产生行动。在图2中，我们说明了这个定义，同时解释了其组成部分。

agents：在网络军事行动中参与设计、开发和使用XAI的实体。看到他们在这个过程中的背景、性质、作用和参与情况，他们可以被划分为（DARPA，2016；Meske等人，2021；Arrieta等人，2020；Preece等人，2018；Hepenstal & McNeish，2020；Hamon等人，2020）：

利益相关者：参与以下工作的实体：①参与模型的设计、标准化和认证过程的实体，即军事法律和人工智能监管者，他们也应该整合道德方面的内容；②参与模型的理论化、设计、开发、调试、验证和升级过程的实体，即人工智能和军事网络工程师；③参与组织内外人工智能系统的设计、使用和确保合规的过程的实体，即人工智能管理者和网络军事决策者。
受众：直接参与利益相关者所做的过程的实体，即是参与性受众或终端用户，即他们代表了其他受众。

工具：agents在网络军事行动中设计、开发和使用XAI的方法、技术和工艺（DARPA，2016）。

XAI模型是由利益相关者和（也许）参与性受众开发的AI模型。
XAI界面是产生解释的界面，即向受众提供行动。相应地，它回答了一些问题，如为什么、如何、何时？如何做或如何解决或纠正错误？何时成功，何时不成功，或何时会失败？

图2：网络军事目标中的XAI，基于（DARPA，2016；Meske等人，2021）。

为了评估内部实施的军事网络行动的相称性，所有利益攸关方合作建立一个XAI网络武器，通过直接或开发的XAI界面（取决于技术），以人类可以理解的方式评估预期的附带损害和军事优势，并提供一个决定，即这种交战是相称的还是不相称的，对受众即军事决策者来说是可以理解的，而且是透明的。如上所述，一个合理的问题将是。为什么是相称的/不相称的？如果与目标交战的决定是否定的，那么对目标的位置、弱点和联系的明确解释，即对正在进行的或未来的行动有利的信息，会使情报的得失评估受益。那么，一个相关的问题将是："什么信息可以进一步利用？哪些信息可以被进一步利用？

5. 可解释的人工智能方法及其评估

在分析有关所涉及的利益相关者和受众的作用的解释时，可以考虑解释方法的意图，指的是回答哪个问题，以及使用解释的人的意图，即这个解释应该如何使用和用于什么（Samek & Müller，2019）。此外，Islam, Eberle & Ghafoor (2020)认为，解释应该具有表达性、透明性、可移植性、准确性、保真性、一致性、稳定性、可理解性，并包含一定程度的重要性。因此，我们考虑用以下标准对XAI的现有方法进行分类（Vilone & Longo，2020；Samek & Müller，2019；Arrieta等人，2020；Kolbasin，2018）。

XAI模型是由利益相关者和（也许）参与性受众开发的AI模型。
问题类型：反映所研究的问题，例如分类或回归。
范围：解释的目标：①局部，意味着模型的每个推理都得到了解释，例如，比例性评估的具体规则；而②全局，意味着模型的完整推理过程作为一个整体是透明和可理解的，例如，比例性评估的一般机制。
阶段：产生解释的时刻：i) 前期方法意味着从一开始和在训练阶段使用具体的例子进行解释，例如目标具有的脆弱性或决定与目标交战是否不相称的具体规则，而ii) 后期方法意味着在测试阶段使用外部解释器模仿模型的行为，例如解释目标与网络武器交战或相称性评估的合理性。这些方法可以是：a）适用于任何类型的模型，模型被视为一个黑盒，解释是在不检查内部参数的情况下产生的；b）特定的模型，仅限于嵌入特定模型逻辑的特定类型的模型。
输入数据：根据可用性、数量和数据类型（如数字、分类）等方面，考虑解释的内容。
输出格式：根据所需结果的格式（数字、规则、文本、视觉或混合），考虑解释。
提供解释的时刻：i) 在建立模型之前，使用不同的可视化方法进行探索性数据分析，了解分布情况或特征分析，例如，可以对一系列目标的多个入口进行分析，找出它们的重心，并在第三至第四阶段建立相应的网络武器；ii) 在建立模型期间，直接为决策树或线性模型，例如。例如，在第四至第五阶段，可以明确提供比例性的评估及其相应的规则和结果，以及iii）在建立模型后，对基于神经网络和SVM的模型解释模型、其结果和内部过程，例如，在第二阶段为可能的目标检查进行网络分析。

然而，人们需要确保人工智能模型的行动不仅符合它们的目标，而且实际上也符合人类的目标（Russell，2019），以认为它们是有益的和可信任的。这些事实应该在人工智能模型具有支持性或决定性作用的两种情况下得到验证（Samek & Müller，2019）。相应地，解释的质量取决于利益相关者/受众如何看待它们，这取决于他们的背景、目标、期望、环境等（Atakishiyev等人，2020）。因此，基于（Swartout和Moore，1993；Walsh等人，2021），我们考虑用以下标准来评价人工智能模型的解释。

适合性、充分性和保真度的衡量：所提供的解释应该是适合的、充分的，并能代表系统的行为。
有效性的衡量：所提供的解释对于系统的利益相关者和受众来说应该是清晰、有用和可理解的。
绩效的衡量：所提供的解释应该改善利益相关者和听众对系统的现有看法、信念、以及可能的能力，同时确保这不会使系统开销过大或速度过慢。

6. 可解释人工智能的挑战

作为任何一种颠覆性技术，XAI在军事网络领域提出了一系列的挑战。为了构建和描述这些挑战，我们考虑用社会技术视角来捕捉技术和社会伦理要素。因此，考虑了以下挑战：

不充分的（训练）数据（Svenmarck等人，2018年）：不充分或没有代表性的（训练）数据对模型提供的结果有直接影响，这可能会产生重大的负面影响，例如，考虑错误的目标参与。
数据所有权、保护、共享、可用性和质量（Maxwell，2020；Stahl，2021）：数据不仅应该掌握在其所有者手中，他们有责任在必要时保护或分享给谁，而且应该在不同阶段可用，在处理和建模阶段保持其质量。
在开发和测试中失去了可调试性和透明度（谷歌，2020）。
性能、维护和稳健性成本（Core 等人，2006；Gunning & Aha，2019；Walsh 等人，2021）。
缺乏对利益相关者和受众的控制（谷歌，2020）。
人工智能安全攻击（Svenmarck等人，2018；Morgan等人，2020）：由于人工智能模型是基于软件的系统，它们很容易受到意志坚定的对手的攻击，这些对手可以进行例如中毒、对抗性或差异性攻击。例如，通过改变用于目标交战的训练数据，另一个物体可能被交战和/或产生的附带损害可能高于第三至第五阶段的预期。
真实设置的镜像环境（Stahl，2021）：用于在现实条件下评估和模拟模型，利用不同的模拟设置，如测试床和数字孪生解决方案，捕捉实际的方面。
与战略和行动需求相一致（Walsh等人，2021年）：由于开展网络军事行动是由具有不同专长的团队成员进行的一系列过程，他们的目标和方法之间的一致性有时可能具有挑战性。
与商业发展和标准保持一致（Hoadley和Lucas，2018年；Walsh等人，2021年），例如，行业相关的网络系统和解决方案。
与其他军事领域的现有系统和新兴能力（Walsh等人，2021年）相结合。
需要制定相应的国际政治、法律和军事举措、标准、战略和方法，并进一步遵守它们（Deeks，2019；Hoadley & Lucas，2018；Samek & Müller，2019；Morgan等人，2020）。
投资于教育、建设人的能力和研发（Alonso，2020；Morgan等人，2020）。
培育和建设人工智能的数字生态系统（Morgan等人，2020年）。
创造国际竞争、国家不对称和权力不平衡（Hoadley & Lucas, 2018）。
对人类价值、健康、环境等产生负面影响。
由于网络空间的动态性和冲突的不可预测性特征，造成不确定性（Maathuis, Pieters & Van den Berg, 2016）。

7. 结论

人工智能的口号不断从发展越智能的系统越好（Russell，2019）转变为发展越有用、可解释、负责任的智能系统越好。这对来自所有社会领域的科学界和工业界来说是一条漫长的道路。特别值得关注的是，考虑到人工智能有可能增加战争的可能性，使正在进行的冲突升级，并扩散到恶意的行为者（Morgan et al, 2020），再加上新的网络作战工具有可能在沉默中以难以置信的速度与对手进行数字化交战，参与开发和/或进行此类行动的决策者有责任确保人工智能被正确理解、正确使用，并在考虑、减轻或避免负面因素的同时促进其积极方面（Russell, S., & Norvig, 2021）。这些方面通过允许其用户了解其行为、局限性和死后评估，促进对人工智能系统的信任（Dignum，2019）。针对军事网络领域的这些方面，本研究旨在定义和分析在军事网络行动中瞄准目标时与XAI模型的设计和应用有关的基本要素和方法。因此，本研究对人工智能、军事和网络安全领域的现有知识体系做出了贡献，并呼吁在这个方向上进一步研究，同时也为进一步设计适用于军事网络领域的战略、政策、方法和技术奠定了基础。

本研究继续分析了在军事网络领域开发XAI模型的挑战、机遇和效果，并在多学科背景下提出了具体案例和建模解决方案。此外，本研究强调，需要通过专门的项目和课程对利益相关者进行教育和宣传，并需要开发建模和模拟、游戏、测试床和数字孪生解决方案，以促进和加强i）参与开发军事网络领域XAI模型的利益相关者，以及ii）XAI模型本身的责任、透明度和公平性。

成为VIP会员查看完整内容