《可解释人工智能（XAI）: 数据挖掘视角》最新综述

鉴于深度神经网络（DNNs）的复杂性和不透明性，人们已经做出了广泛努力，使这些系统更易于解释或用易于理解的术语解释它们的行为。与大多数专注于算法和以模型为中心的视角的综述不同，本工作采取了“以数据为中心”的视角，考察了数据收集、处理和分析如何促进可解释人工智能（XAI）。我们将现有工作分类为三个目的类别：深度模型的解释，涉及特征归因和将数据点与模型输出相关联的推理过程；训练数据的影响，检查训练数据细微差别（如数据价值和样本异常）对决策过程的影响；以及领域知识的洞察，从数据和模型中发现潜在模式，培养新知识，以推进社会价值和科学发现。具体来说，我们将XAI方法提炼为对训练和测试数据的数据挖掘操作，这些数据跨越不同的模态，如图像、文本和表格数据，以及对训练日志、检查点、模型和其他DNN行为描述符的操作。通过这种方式，我们的研究从数据挖掘方法和应用的角度，对XAI进行了全面的、以数据为中心的审视。

https://www.zhuanzhi.ai/paper/6960f37082a968c932aec73e1160f875

**1 引言 **

随着人工智能（AI）的发展，传统的决策技术，如感知器[1]、基于规则的系统[2]、基于案例的推理[3]和专家系统[4]，已让位于更复杂的深度神经网络（DNNs）[5]。这些早期技术是基于人类决策过程，从基于规则的推理[6]到基于委员会的预测[7]。存储和计算能力的激增催化了向DNNs的演变，尽管它们在视觉识别和语言建模等任务上表现出色[5]，但在可解释性方面面临挑战[8]。

DNNs的“黑箱”本质以及其广泛的参数化妨碍了自动驾驶和医疗等关键应用中所需的透明度，引发了人们对这些模型在高风险环境中可靠性的担忧[9]、[10]、[11]。因此，可解释人工智能（XAI）已成为一个关键领域，提出了诸如LIME[12]等解决方案来改善机器学习的可解释性1，可能增加对AI系统的信任[13]。这些XAI技术不仅努力实现模型透明度，还为数据集增加了附加价值，帮助完成诸如调试[14]和定位误标记样本[15]等任务，丰富了对数据集及其各自领域的理解[16]、[11]。在这项研究中，我们通过对现有文献的全面审查，通过我们的两个独特观察、三个目的和四阶段XAI技术数据处理的角度进行分组和分析。 我们的第一个观察重点关注XAI技术演变和应用背后的驱动力。在对当前文献进行广泛审查后，我们将主要目的概括为三个核心类别：1）深度模型的解释：尽管深度学习模型具有高度的预测能力，但它们的“黑箱”本质限制了可解释性[12]、[17]。XAI旨在通过阐明这些模型在每个实例基础上的预测理由，从而促进透明度和信任[8]、[18]。2）训练数据的影响：机器学习模型的性能取决于训练数据的分布和质量[19]、[20]。XAI技术可以准确地指出对模型输出产生重大影响的数据点，促进改进的训练过程和模型简化[21]、[22]。3）领域知识的洞察：XAI还揭示了模型和数据中特定于领域的知识，提供了在这些领域内人类理解的潜在进步，并在医疗保健和金融等高风险应用中提供宝贵的洞察[23]、[24]。 如图1所示，XAI作为人类理解和机器学习模型复杂性之间差距的桥梁，提高了AI应用的信心[25]、[26]。

我们还发现，XAI方法遵循类似于传统数据挖掘的结构化过程[27]、[28]、[29]，将数据、算法和以人为中心的分析整合起来。以下列出了四个关键步骤。 1）数据获取与收集：XAI将数据收集扩展到超越数据集，涵盖了深度学习的生命周期，如训练数据集、训练日志和检查点、测试样本等。 2）数据准备与转换：从模型、数据和训练日志中提取和转换DNNs的行为描述符，包括显著性地图、训练损失曲线和输入/损失梯度向量（也请参见表1），以便后续解释[30]、[31]、[15]。 3）数据建模与分析：挖掘DNN行为描述符以模拟DNN决策、训练数据贡献和数据集模式，从而导致三种类型的分析目的：解释、影响和洞察[11]。 4）结果报告与可视化：XAI努力的高潮是通过适当的报告和可视化来呈现发现，这取决于数据模态，例如将显著性地图叠加在图像上[32]、[33]，突出显示关键视觉特征。

通过这些步骤，XAI增强了AI框架中的可解释性、信任，甚至是知识与理解，促进了人类与AI的更好协同。 我们的调查采用了以数据为中心的视角来审查XAI，通过结合三个目的和四阶段数据挖掘过程来分类组织技术。这项研究的贡献包括： • 从数据挖掘的角度对XAI范式进行技术回顾，重点关注解释过程中的数据相关实践[34]。这项工作开创了对XAI进行新框架系统审查的先河。 • 引入了一个新的分类系统，围绕XAI的三重目的和数据挖掘的四个不同阶段，对当前XAI方法进行分类和阐述。 • 对XAI未来发展的前瞻性讨论，强调其揭示数据内在深层洞察的能力，这对像AI驱动的科学和医学等领域有重要意义。

将XAI研究纳入这一分类提供了一个结构化的叙述，丰富了对XAI趋势和潜力的精确理解。 关于XAI的新兴研究已在几项调查中得到审查，突出了解释深度模型的挑战和重要性。Doshi-Velez和Kim[8]强调了评估XAI技术的必要性，而Carvalho等人[9]提供了一项广泛的可解释性方法研究，涵盖了模型不可知和模型特定的方法。Hammoudeh和Lowd[174]将重点转移到了训练数据的影响上。Mohseni等人提供了一项评估XAI系统的调查和框架[175]。Marcinkeviˇcs和Vogt[16]以及Notovich等人[176]对实用XAI方法进行了扩展，提供了应用示例和技术分类。Preuer等人[177]在药物发现中探讨了领域特定的应用，而Tjoa和Guan[30]则在医学成像中进行了探讨。

与上述工作相比，我们的调查（图2中显示的简要结果）通过从数据挖掘的角度探索XAI的三重角色来弥补XAI文献中的差距：（1）解释模型的行为以理解其决策；（2）估算数据的影响，以评估和识别关键样本；（3）从模型和数据中提炼洞察，以获得推动社会价值和科学发现的新理解。

解释：深度模型的特征归因和推理过程

解释深度模型包括使用特征归因来评估每个输入对模型输出的影响，并检查推理过程以理解模型内部的决策路径。

影响：训练样本的数据价值和异常检测

通过衡量训练样本对决策过程的影响来解释深度模型对于理解和验证这些模型的输出至关重要。这一过程通常涉及多种技术，这些技术将单个训练样本与模型所做决策之间的相关性映射出来[221]、[174]。在本节中，我们将现有工作分类为以下三个方向。

洞察：从数据中发现模式和知识

XAI算法有助于提取人类可读的洞察，部分原因是它们能够识别和解释复杂的多维或多模态数据中的模式、相关性和异常。已经做了两组努力：一组关注社会价值，另一组专注于科学发现的进步。 结论

本文通过数据挖掘的视角，系统地回顾了可解释人工智能（XAI）的作用，涵盖了三个关键的主题领域： • 解释模型行为：本综述强调了揭示深度神经网络（DNNs）的决策过程的必要性，从特征归因和推理逻辑的角度出发，旨在增加AI系统的透明度和信任。 •** 评估数据影响**：本综述关注单个数据样本如何塑造模型的决策和泛化性能，强调对学习的重要贡献者，并检测可能导致结果偏斜的任何数据异常。 • 提炼可行洞察：超越提供解释，本综述寻求发现与社会价值一致并促进科学创新的新洞察，将XAI技术的知识引向实际应用。

总之，本研究对上述三个目的的XAI方法进行了全面分析，突出了当前的能力、实际用途，并识别了需要改进的领域。这一分析为进一步的研究奠定了基础，这些研究努力将XAI更深入地整合到数据挖掘实践中，并培育一个更透明、可靠、以用户为中心的人工智能环境。