视觉基础模型的可解释性：综述

随着人工智能系统日益融入日常生活，可解释性领域受到了极大的关注。这一趋势尤其受到现代AI模型及其决策过程复杂性的驱动。基础模型的出现，以其广泛的泛化能力和新兴应用，进一步加剧了这一领域的复杂性。基础模型在可解释性领域占据着模糊的位置：它们的复杂性使得这些模型天生难以解释，但它们也越来越多地被用作构建可解释模型的工具。在这篇综述中，我们探讨了基础模型与可解释AI（XAI）在视觉领域的交集。我们首先编制了一份全面的文献合集，涵盖了这些领域的交叉研究。接下来，我们根据模型的架构特征对这些研究进行了分类。然后，我们讨论了当前研究在将XAI整合进基础模型时所面临的挑战。此外，我们还回顾了这些结合方法的常见评估方法。最后，我们提出了本次综述的关键观察和见解，并为这一快速发展的领域提供了未来研究的方向。 关键词: 可解释性, 可解释AI, XAI, 基础模型, 视觉, 综述

1. 引言

深度神经网络（DNNs），即具有大量可训练参数的网络，近年来对计算机视觉领域产生了重大影响【1】。它们在语义分割【2】、分类【3】和图像生成【4】等各种任务中取得了最先进的性能。然而，DNN的深度和复杂性也导致了决策过程和预测可解释性的缺乏透明度【5】【6】。在那些性能和可解释性都至关重要的高风险环境中，对透明度的需求日益增加【7】。为了增强透明度和可解释性，广泛采用的各种方法被统称为可解释人工智能（XAI）【8】（见图1）。 XAI方法为自动化系统与人类用户之间搭建了桥梁，因为人类的感知和解释本质上是主观的。满足一个用户需求的解释可能并不一定能满足另一个用户【9】。因此，为了提高有效性，XAI方法应确保不同用户之间的解释一致性【10】。XAI引起了越来越多的关注，尤其是在伦理问题至关重要的领域，例如医疗诊断【11】和自动驾驶【12】。因为不透明的模型可能隐藏与道德原则相悖的功能。例如，在【13】中观察到的性别偏见结果。 在文献中，已经识别出一些XAI的关键属性【14】【6】，例如可信性、复杂性、鲁棒性、泛化能力和客观性。我们将在4.1节进一步探讨这些问题。 深度学习中的一个显著趋势是模型规模越来越大（见图2）。这一趋势始于1998年的LeNet（60,000个参数），然后是2014年的InceptionV3（6.23M参数），2016年的ResNet（42.70M参数）。随后，2017年自然语言处理领域采用了Transformers（65M参数），2018年的BERT（340M参数），2019年的GPT-2（1.5T参数），2023年的QWEN（72B参数）。这些“大型语言模型”的成功激发了将高参数量和大量训练数据的优势应用到其他领域的兴趣，例如视觉问答【15】和目标检测【16】。这促使了这些架构在更广泛的分类下被统称为“基础模型”。 基础模型在XAI领域处于一个模糊的位置。一方面，基础模型的复杂性使其特别难以解释；另一方面，文献中越来越多地将其作为构建可解释模型的工具。这篇综述提供了计算机视觉领域基础模型中可解释性技术的全景，特别是预训练基础模型（PFM）。结构安排如下：第2节提供了基础模型和XAI方法的背景，回顾现有的综述，并提出XAI方法的分类法；第3节定义了识别的XAI方法类别，描述了它们的背景、它们如何使用PFM、它们的应用以及评估方法；第4节讨论了评估生成的解释质量所采用的不同方法；第5节介绍了我们综述中的一些观察结果；第6节描述了XAI方法面临的不同挑战，包括仍未解决的问题；最后，第7节总结了我们的结论，并提出了进一步研究的潜在方向。