智能系统，包括那些由人工智能（AI）驱动的系统，正越来越多地应用于我们的日常生活中，人们越来越需要让这些系统变得透明、可理解、可预测，并最终为人们所接受。这可以通过整合解释能力来部分实现。然而，实际上，为终端用户提供有用的解释功能一直是一项艰巨的任务，而且随着智能系统使用更复杂的推理和学习程序，难度也会越来越大。本文简要概述了有关解释的研究，并介绍了不同学科的重要解释概念，以及这些概念在基于知识的系统和后来的基于机器学习（ML）的系统中的整合历史。它讨论了解释设计的一般挑战，以及动态和/或分布式环境所特有的挑战。最后，它从以人为本的角度论证了解释，讨论了优秀解释的特点和设计注意事项。
在智能系统中集成解释功能的兴趣可以追溯到 20 世纪 80 年代，当时专家系统（也被称为第一代人工智能系统）刚刚发展起来。研究人员和系统设计人员试图为这一类基于知识的系统赋予当时所谓的解释功能。自十年前以来，人们对这一领域的兴趣再次升温，这反映了智能语言系统的日益普及，其复杂的内部模型对可解释性提出了新的挑战。
在人类-系统环境中，解释具有不同的目的。它们可以：(i) 让用户相信系统的推理是合理的，因此适合手头的任务；(ii) 提供系统状态、流程和目标的可见性；(iii) 让用户接触领域知识和推理机制，从而学习。总之，解释可以增强用户对系统的感知，这种感知可以通过用户满意度、学习、对系统有用性的信念以及最终对系统的信任度来衡量。此外，随着基于 ML 的系统及其特殊性的兴起，解释也被用于其他目的，例如检测偏差和其他不受欢迎的推论、提高系统性能以及检查和改进 ML 模型。
A. 专家系统的解释
专家系统中使用的算法具有逻辑和符号性质，将知识表示为实现目标的一系列步骤。因此，系统生成的解释可根据其中所含知识的类型和数量或解释所传达知识的 “深度 ”进行分类。跟踪解释只是提供了产生解释结果的推理规则的跟踪，战略解释则显示了推理步骤如何有助于实现高层次目标，最后，深度解释则将数据与深层或因果模型联系起来，显示了该领域关键概念之间的关系。
专家系统解释的制作以两个研究轴心为指导：(i) 修改系统结构，以表示解释所需的知识并使其易于获取；(ii) 改进为用户制作解释的技术。关于后者，一般可分为两种方法：一种是自下而上的方法，即把现有的知识结构转化为解释，前提是这些结构在一定程度上反映了需要解释的概念关系；另一种是自上而下的方法，即寻找能够满足解释目标的知识结构。在第二种方法中，话语图式或规划运算符被用来指导系统在知识库中的搜索，然后通过话语标记对检索到的信息进行排序和结构化。因此，解释生成可以使用与决策推理相同的知识库，也可以使用为解释目的开发的不同知识库。
这些过程的最终产品可以是动态生成的自然语言文本、预制文本、图形表示法或不同技术的组合。除了格式（文本、视觉、多媒体）之外，解释的生成还涉及与提供机制（自动或应用户要求）、访问模式（如菜单、超链接等）和方向（前馈或反馈）有关的决定，这些都是根据要解释的要素的性质来决定的。
B. 机器学习系统中的解释
如今，大多数人工智能算法都基于 ML 技术，计算机通过这种技术从数据中学习，从而做出并改进预测。因此，可解释的人工智能主要是围绕 ML 模型的可解释性这一概念来阐述的，它能让人工智能专家深入了解这些模型如何从数据中学习模式，从而检测和减少问题，并改进其架构和训练过程。可解释性指的是一种能力（智能系统解释自身的能力），与之相反，可解释性是 ML 模型的一种属性（给定模型适合解释的程度）。
ML 算法使用现有数据学习并迭代建立模型，使用的表征形式多种多样，如决策树、概率图、神经网络等。这些模型随后被用来进行预测或寻找结构，具有不同程度的可解释性。有些模型具有一定程度的可追溯性和透明度，可以为解释提供支持，但大多数模型是不透明和非直观的，因此被称为 “黑箱”。此外，模型的可解释性一般与其性能成反比。
为了让人类用户更好地理解模型做出某些决定或预测的原因，可解释性方法会对模型的输入特征做出某些改变，以观察预测是否仍然有效或发生了哪些变化。某一特征的重要性取决于模型在多大程度上依赖该特征做出正确的预测（如果改变某一特征不会影响模型的结果，则该特征并不重要）。那些与模型预测最相关的特征就可以作为解释的基础（例如，突出图中图像的高亮区域显示了那些对模型预测贡献最大的特征）。从这个意义上说，这种解释非常接近科学解释的归纳推理（第 II.A 节）。
最常见的可解释性方法之一，称为 “事后解释”（post-hoc），是用一个更简单的可解释模型来近似现有的黑箱模型，以达到解释的目的。换句话说，事后可解释性技术的目的是产生和传播关于已经开发出来的、本质上很复杂的模型的可理解信息。建立更简单的可解释（或代理）模型的关键步骤是了解黑盒模型学到了什么。解释技术可以是针对特定模型的，也可以是与模型无关的，即可以应用于特定模型，也可以应用于任何模型（无论其内部过程和表征如何）。
此外，可解释性方法在范围上可以是局部的，也可以是全局的，这意味着它既可以解释单个预测，也可以解释整个模型行为。与专家系统类似，为基于 ML 的系统制作解释通常分为两个步骤，首先要找到推理踪迹，然后创建解释界面，以便将这一信息以可理解的格式传达给用户。由此产生的解释通常以特征汇总统计、图形和曲线等可视化元素、数据点、模型内部结构（如权重、树结构）、规则或突出图等形式呈现。
在过去几年中，美国国防部高级研究计划局（DARPA）的可解释人工智能（XAI）计划一直是该领域最大的举措，它汇集了学术界和工业界的合作伙伴，共同创建和评估一套人工智能技术，以生成更多可解释的模型，同时保持高水平的学习性能（预测准确性）。该计划于 2017 年启动，设想了三种策略：（1）经过修改或混合的深度学习（DL）技术，这些技术可以学习到更多可解释的特征，或包含解释生成设施；（2）可解释模型，这些模型本身对 ML 专家来说更具可解释性；（3）模型归纳技术，在给定任何 ML 模型的情况下，可以推断出近似的可解释模型。作为该计划的一部分，创建了开源的可解释人工智能工具包（XAITK），在该工具包中可以访问所有 XAI 的贡献。能力领域的例子包括人机协作、解释效果评估（测量和度量）、计算机视觉、强化学习、自然语言处理、解释框架、突出图算法、视觉问题解答和机器人学。
C. 透明度
透明度是另一个被认为会对用户理解和信任基于自动化的系统产生积极影响的特性，这一点在人因文献中使用最多。可解释性有助于用户深入了解系统的模型和推理，而透明度则旨在为用户提供更实时的系统任务、目标和决策信息。
目的、过程和性能是三个组成部分，其透明度被认为是影响人类操作员信任度校准的关键因素。基于多项研究，一项文献将透明度定义为 “系统为用户提供有关自动化可靠性和可能影响其可靠性的情境因素的准确、持续反馈，以促进适当信任和提高任务绩效的能力”。有文献提出了一种三层交互设计，即通过用户界面，系统提供以下相关信息： (1) 其当前状态、目标、意图和计划；(2) 其推理过程；(3) 其对未来状态的预测，包括不确定性。他们的用户研究表明，除了双向交流外，透明度还有利于人类用户的决策，并通过支持创建共享心智模型来提高人类系统的整体性能。
然而，一些实证研究表明，透明度和完全的用户控制并不一定能提高模型的信任度和可解释性，因为用户的认知工作量可能会增加，而且由于信息超载和系统中的错误完全可见，决策制定会受到抑制。解释应足够详细，使用户能够对系统进行一些归纳，但不能给他们造成负担或分散他们对主要任务的注意力。算法输出的展示和交流以及人机交互的设计同样重要，因为它们可能会影响对算法本身的解释和信任。
可解释性和透明度方面的挑战
解释的设计和生成可能会面临许多技术挑战，其中最重要的是知识表征。如前所述，当系统的推理过于非直观和复杂而无法解释时（如概率方法或深度学习神经网络），问题可能是可解释性问题；当系统的输出是多层次、多阶段数据聚合和信息处理的结果时，问题可能是可追溯性问题。但有时，可解释性可能会受到问题解决背景本身的阻碍。这可能是由于系统所执行任务的性质和数量，或与系统互动和通过系统互动的参与者数量造成的。
根据观察，在分布式环境中使用 C2 智能辅助决策系统会面临以下可解释性和透明度方面的挑战： - 尽管告知用户系统当前和预计的计划和目标可能很有用，但有时无法确定当前目标，因为系统可能会评估多种情况并确定优先次序，同时计划和执行多种行动方案。
-
决策支持系统得出的解决方案并不总是完全基于其自身的推理，而可能是系统生成的结果与用户提供的输入相结合，这就使解释决策或结论背后的理由变得更加复杂。如果最终解决方案是通过属于不同社会技术网络的多个人力和软件节点的互动来实现的，那么这个问题就会更加严重。
-
某些分布式环境中的协调模式可能会导致决策所使用的信息只能由中央节点获得，从而使网络中的其他节点无法进入推理过程。
-
系统可能会在极其动态和不断变化的环境中做出评估，在这种情况下，推理的解释只能在很短的时间内有效。这种短暂的解释是否有用，还有待商榷。
-
决策辅助工具可能会追求局部难以解释的全局优化目标。例如，用户对全局情况和系统为满足最多用户而追求的更高层次目标缺乏了解，因此很难向用户解释为什么系统没有推荐他们所期望和偏好的行动方案。
-
具有一定自主性的决策算法在类似情况下的输出结果并不总是相同的，因为这些系统会对其内部状态和检测到的环境变化做出反应。例如，输出结果可能因中央处理器的容量、处理器接收输入的顺序、人类操作员提供的信息、环境中观察到的触发因素等而不同。随着时间的推移，这些变化会使系统的可预测性低于预期。然而，对这些诱因的解释可能会令人困惑，甚至徒劳无功。
随着智能系统复杂性的增加，如何生成能够及时传达系统推理的解释，以及如何在用户的任务背景下以最合理的方式传达系统推理的挑战也随之增加。
以人为本的视角
关于解释的一个常见问题是其实用性。最终用户对人工智能模型的准确性或性能并不太感兴趣，他们更关心的是模型的可信度和可靠性，因此他们很可能认为专家系统规则的蛛丝马迹或可解释性方法的结果没有足够的表现力或意义。
迄今为止，基于人工智能/ML 的系统设计者一直面临的挑战是，如何理解和满足最终用户对理解人工智能输出结果的需求，并设计出衡量不同 XAI 技术适用性或实用性的方法和指标。鉴于可解释性问题以用户为中心的性质，XAI 方法研究应超越以人工智能为中心的预测准确性衡量标准，以解决基于人工智能的决策输出中的信任问题。这可以通过在 XAI 评估技术中纳入以人为本的信任和可理解度量来实现。因此，需要进一步扩展的可解释人工智能领域的一个主要研究方向是解释的心理学模型、人为因素和社会科学研究，研究人员试图确定有效解释的特征，并根据这些特征评估系统生成的解释。
A. 解释的有效性
如前所述，解释不仅是一个需要设计的对象，也是与有特定需求的受益人相关的一个需要实现的交流目标。有文献认为，解释是以下因素相互作用的结果： “(1)提供的解释，(2)学习者的知识和信念，(3)背景或情况和直接需求，以及(4)学习者在该背景下的目标或目的"。
因此，这一领域最大的挑战是如何做出对用户有意义的、适合情境的解释。首先，系统必须了解用户的情况（知识水平、能力）和目标，并能够理解他们确切的解释需求。后者确实很难推断：被解释者在质疑结果时究竟在寻找什么信息？是所采用的推理方案、系统的一般流程，还是系统得以解决问题的某些信息？其次，系统应该能够管理解释性对话，即能够评估用户对所提供解释的理解和满意程度；在需要详细说明和澄清时使用替代解释策略；以及衡量实现解释目标所需的信息量和详细程度。
解释的互动性和合作性强调了双向交流对于人与系统有效互动的重要性。有人正确地指出，鉴于人-系统交互在要求和可能性方面的特殊性，人类解释的特点不太可能完全决定用户在人-系统交互背景下的解释需求。不过，研究表明，即使在人-系统框架中，合作解决问题也会提高用户对解释的兴趣，并诱发更高频率的解释请求。看来，至少必须有一种机制，让用户向系统表明解释是否充分、可理解和令人满意，如果不充分、可理解和令人满意，则表明系统生成的解释中的哪一部分需要进一步阐述。
根据对有关解释的社会科学研究的综述，将 “好的解释 ”描述为：互动性（根据目标受众的情况量身定制），但也具有对比性（解释为什么会做出某种预测而不是另一种预测）；有选择性（只列出少数几个相关因素）；侧重于异常原因（援引的原因是单一的）；必要时尽可能真实；一致（与被解释者先前的信念一致）；概括；可能（在没有异常原因的情况下，概括原因是最好的解释）。其他研究人员也认为，对比性、交互性和因果性解释与模型透明度相结合是促进信任和在用户中建立人工智能/人工智能算法可信度的必要条件。
有文献提出了三类有效性测量方法以及经过验证的量表，用于对有效解释能力进行整体评估：1）解释有效性测量方法，包括解释好坏、解释满意度、心智模型理解、任务绩效和信任度量表；2）解释功能性测量方法，包括生成解释的速度、解释理解速度（用户）、模式类型多样性（如视觉、文本等）和解释内容（如原理、示例、原因、反事实）；3）人工智能学习绩效测量方法。虽然后两类测量方法是人工智能研究界常用的，但在此类解释评估研究中，解释效果测量方法却被普遍忽视。通过人因和人工智能界研究人员之间的合作，需要开展进一步的用户研究，从人因的角度评估解释能力的有效性，并研究不同衡量标准的交叉部分，例如，在人工智能可以不断学习用户反馈（从 XAI 界面接收）并相应地微调其模型的情况下，解释有效性对人工智能性能的影响。
B.设计考虑因素
基于上述讨论，在设计和分析人工智能解释方案时需要考虑各种因素，包括（但不限于）： 1：
-
内容： 确定需要解释领域、问题解决策略或系统的哪些方面，以及是否需要建立新的知识结构，而不是使用系统的推理程序来生成有效的解释。
-
用户互动： 通过先进的界面、适当的详细程度和透明度以及双向交流，设计用户与解释能力之间的有效互动，以便根据用户反馈继续理解、探索和机器学习。
-
适应性： 使解释适应使用环境，包括手头的任务、操作环境、时间限制、不确定性和系统的自动化水平。
-
用户特征： 考虑用户的概况，他们在能力、感知要求、行为、个性、认知风格、目标等方面各不相同，因此有不同的解释需求。
-
解释效果： 根据机器数据和用户研究，按照不同的用户和机器性能指标，衡量所开发的解释功能的有效性。
-
设计方法： 采用迭代设计流程，对用户目标、需求和特征进行研究和分析。此外，还需要准确捕捉和分析用户的任务、角色、关键决策和信息需求，为人工智能设计方案（包括解释和解释界面）提供信息。
原文
微信扫码咨询专知VIP会员