图学习如何可解释？首篇《图反事实解释:定义、方法、评价》综述，46页pdf165篇文献全面概述图反事实解释进展

2022 年 10 月 24 日 专知

近年来，图神经网络在社区检测、分子分类和链接预测等任务中表现突出。然而，这些模型的黑箱特性阻碍了它们在卫生和金融等领域的应用，在这些领域，理解模型的决策是至关重要的。反事实解释(CE)通过实例提供了这些理解。此外，关于CE的文献也在不断涌现出适合图学习的新颖解释方法。在本综述中，我们分析了现有的图反事实解释方法，根据定义、数据集和度量的统一正式符号，为读者提供了文献组织，从而简化了方法优缺点的潜在比较。我们讨论了7种方法和16个合成和真实的数据集，提供了可能的生成策略的细节。我们强调了最常见的评估策略，并将文献中使用的9个指标形式化。我们首先介绍了评估框架GRETEL，以及如何扩展和使用它，同时提供包含可再现性方面的进一步比较维度。最后，在深入讨论公开挑战和未来工作之前，我们将讨论反事实解释如何与隐私和公平性相互作用。

https://www.zhuanzhi.ai/paper/d26c10ba36d2f1b81804d35a4cddfa5d

人工智能在过去十年中得到了巨大的贡献 。特别是深度神经网络在计算机视觉[53,117,118]、自然语言处理[16,33,127]、推荐系统[56,77,4]和异常检测[79,96,112]等领域被大量采用。最近，图神经网络(以下称GNN)在许多图挖掘任务中克服了大量挑战，这些任务包括顶点分类[50,97,109,139,162,160,165]、链接预测[55,59,97,142,151,157]、社区检测[20,22,122,155]和图分类[10,69,146,151]。智能系统可以用于决策支持场景，在这些场景中，处理请求对人类来说非常繁琐和耗时[42]。例如，医院可以采用一种自动系统，根据患者当前的医疗状况和过去的病史，帮助医护人员判断患者是否易患心脏相关疾病。银行可能有一个系统来决定客户的贷款是否被批准。社交网络可以采用一种智能策略来检测违反其服务条款的用户，并因此禁止他们使用该平台。最后，制药公司可以使用这种决策支持系统(DSS)进行药物再用。

尽管智能系统已经达到了出色的性能，但广泛应用的深度神经网络却存在所谓的黑箱问题[5,101]。黑箱模型阻碍了人们对预测结果[39]时所采用的决策过程的理解。神经网络从一层到下一层利用不可逆和非线性激活函数来学习非线性向量空间中的特征表示[23,34]，这对用户来说是不透明的，属于黑盒模型类。与黑箱相反的是一个由我们可以轻易检查的内部进程组成的系统。这些模型通常被称为白盒或透明模型[74]。一般来说，黑盒和白盒模型在数据科学中处于光谱的极端(见图1)。当做出可能改变业务事件进程的关键决策时，人们更喜欢使用白盒模型[32,129,130]，而黑盒模型在预测蛋白质关系[3,81,140,159]、学生辍学预测[15,105,104,135]和趋势预测[7,70,131,148]等场景中，性能更高，甚至可以在高维输入特征下进行泛化。

如前所述，GNN在多个图挖掘任务中都取得了出色的性能。GNN以一个包含代表概念的顶点和描述概念之间关系的边的图结构作为输入。例如Facebook的用户友谊网络和收集蛋白质及其关系的PPI。换句话说，顶点是用户(或蛋白质)，而边是它们之间的友谊(或化学关系)。Facebook图中一个有趣的预测任务是预测两个用户在不久的将来是否会成为朋友:即链接预测。通过这种方式，模型可能会发现两个有相似兴趣的用户之间的关系，并帮助失散已久的朋友重新点燃他们儿时的关系。具体地说，GNN接受一个图，它具有与顶点和边相关的属性，并生成一个转换后的图，该图已经学习了所有这些属性的潜在特征。这些潜在的特征可以用来进行预测。注意，从图的边缘引出的连通性模式被用来加强通过图转换学到的特征在潜在向量空间中的关系(参见2.1节了解更多细节)。

解释预测的能力对于允许用户和服务提供者在关键领域做出可信的决策至关重要[85,46]。因此，由于法律的限制，目前在健康和金融等关键领域，深度模型尚未广泛投入生产[98]。在通过基于特征的分析[45]和反事实解释解释黑箱模型方面，文献已经收到了许多贡献[29,44,63,66,75,137]。通过分析影响结果的特征，对黑箱模型所做的预测提供解释的模型称为基于特征的解释器。然而，揭示预测原因的解释并不足以理解如何改变特定模型的结果。因此，为了描述输入数据和结果之间的因果关系[21,85]，解释器必须提供例子，说明要改变什么输入特征来预测不同的结果。换句话说，反事实的可解释性表明输入应该有哪些差异，从而导致模型预测的变化。提供这种可解释性的机制被称为反事实解释器。

根据前面三个例子场景，反事实可解释性可以帮助我们得到以下建议:

心脏病临床DSS (CDSS)——让我们假设一个身体质量指数(BMI)为31.4(当前医疗状况)的患者是CDSS的输入。对这个例子的一个反事实的解释可能是，如果病人将她的BMI降低20%，那么她在不久的将来患心脏病或其并发症的几率就会大大降低。这种解释可能会为医护人员提供正确的输入，为患者制定个性化的减肥计划。
贷款DSS——在本例中，一个银行客户有15,000美元的存款，信用评分为25，他要求贷款150,000美元。让我们假设，被雇用的DSS拒绝了请求，并提供了一个反事实的解释，如果客户将她的信用评分提高了2%，并将她的银行存款提高到25,000美元，那么她的贷款将被批准。这个特殊的反事实的例子为客户提供了直接的输入，让她知道如何采取行动使她有资格获得贷款批准。从这个意义上说，反事实解释提供了实现可控行为的确切步骤:例如，上述客户需要额外的1万美元，在这样做的时候，她应该偿还她的信用卡债务，使她的信用达到25.5分。

在上面解释的场景中，反事实可解释性提供了比基于特征的可解释性更详细的研究。反事实使得黑箱模型通过建立信任、透明和向非专家提供明确的反馈，在关键领域取得突破。此外，反事实系统有助于揭示预测模型的内在偏差。特别是，考虑CDSS为患者决定心脏病并发症的例子。想象一下，现在，有心脏病倾向的人可能会拒绝某个挽救生命的病人的手术。因此，如果CDSS认为病人可能患有心脏病，她的手术就会被拒绝。虽然患者可以控制他们的BMI并降低到一个正常的区间，这样CDSS就可以排除心脏相关疾病，但CDSS可能会判定心脏疾病与种族有关[94,143]。在这些情况下，种族是一个不可控的变量，它破坏了预测模型的公平性，而公平性是当今国家所必需的支柱[24,18]。

因此，重要的是，决策支持服务不应延续和加剧现有的偏见和不平等，例如，在医疗健康工具、治疗方法和系统中，某些群体接受不到标准或根本没有治疗[95]。如前所述，反事实解释可以帮助识别产生偏见的情况，并帮助解决依赖伦理原则而不是业绩驱动概念的挑战。然而，从数据中消除偏见是一个完全不同的挑战，这超出了本次调查的范围。最后，从市场角度来看，截至2018年，开发一种新药的平均成本在3.14亿美元到28亿美元之间[144]。此外，一种药物进入临床开发的批准率仅为12%，这清楚地表明，投入的大部分资金都被浪费了。与此同时，一种药物完成一个完整周期的临床试验的平均数量减少了，这意味着制药公司在将其药物商业化之前需要重新进行试验。在价格上涨中起重要作用的因素包括但不限于临床试验复杂性的增加、试验规模的扩大、为收集卫生技术评估信息而在方案设计上的改变，以及对比较药物进行测试以减轻客户需求7。在药物再利用等应用场景中，拥有清晰的反事实方法来解释结果的原因，为降低成本和提高批准率提供了很大的可能性。因此，制药公司有兴趣采用新的可解释的图学习方法来理解试验场景，而不必深入研究昂贵的试验。基于上述原因，本文探索了几何深度学习的反事实解释，几何深度学习是新兴技术的总称，试图将深度神经模型推广到非欧几里得领域。在这里，我们主要关注图数据以及通过GNN对它们的预测。据我们所知，这是第一个在图上处理反事实解释的综述。为了完整起见，在第1.1节中，我们讨论了几项研究[9,44,121,133]，这些研究处理了黑盒深度神经网络的解释，但并没有同时专门关注GNN和反事实解释。最后，在1.2节中，我们通过强调该综述的贡献来结束对该综述的介绍。

据我们所知，这个综述是第一个研究GCE的文献。如前一节所述，我们的工作超越了图中基于特征(事实)的解释性，提供了与文献中其他调研相比的深入讨论和更系统的回顾。综上所述，这项调研的主要贡献如下:

1. 我们根据统一的正式符号组织文献中现有的反事实示例定义，从而促进了对它们的优点和缺陷的直接比较。

2. 据我们所知，我们是第一个根据多类预测问题提出GCE形式化的人。我们还根据黑盒预测模型推导出特定图上的全局最小反事实例子。

3.本文提出根据几个维度对文献中现有方法进行分类，帮助读者轻松采用更适合其场景的替代方法。

4. 我们为读者提供了反事实解释方法的优点和缺点的总结。

5. 我们广泛讨论了采用文献中使用的合成和真实数据集的评估协议的好处，以及支持的方法。为此，我们描述了GRETEL，一个完全可扩展和可复制的GCE评估框架。我们认为GRETEL是文献中第一个专注于提供高度模块化体系结构的框架，允许未来的研究人员即插即用定制解释器模型。

6. 我们认为，在文献中缺失的一个基本方面——即隐私、公平和可信度——是遵守全球正在采用的人工智能法规所必需的。

7. 最后，我们为读者提供了关于开放挑战的见解，如多标签分类中的反事实性，这一研究领域在不久的将来将被解决。