【新书】IML能与不能：可解释机器学习方法的局限（253页pdf书籍下载）

2019 年 12 月 6 日 专知

【导读】机器学习大拿Christoph Molnar继推出《可解释机器学习》一著作，进来和他的学生们推出新书可解释机器学习的局限性《Limitations of Interpretable Machine Learning Methods》，阐述了可解释机器学习的概念、方法等，以及重要的是适用的边界，即可解释机器学习的局限，知道能与不能方能用好IML。本书共14章，是Christoph Molnar课题组最新成果，值得参阅。

地址：https://compstat-lmu.github.io/iml_methods_limitations/

本书解释了当前可解释机器学习方法的局限性。这些方法包括部分相关图(PDP)、累积局部效应(ALE)、排列特征重要性、单因素协变量缺失(LOCO)和局部可解释模型无关解释(LIME)。所有这些方法都可以用来解释训练过的机器学习模型的行为和预测。但在以下情况下，这些解释方法可能并不适用:

如果模型对交互进行建模(例如，当使用随机森林时)
如果特征之间有很强的相关性
如果模型没有正确地建立因果关系模型
解释方法参数设置不正确的

这本书是“可解释机器学习的局限性”研讨会的成果，该研讨会于2019年夏天在慕尼黑大学统计系举行。

引言

1.1 统计建模:两种方法

在统计学中，有两种方法可以从数据中得出结论(见Breiman (2001b))。首先是数据建模方法，其中假设数据是由给定的随机数据模型生成的。更具体地说，该模型将输入变量、随机噪声和参数与响应变量关联起来。典型的模型有线性回归模型和逻辑回归模型。这些模型允许预测对未来输入变量的响应，并提供关于响应变量和输入变量如何关联的信息，即它们是可解释的。其次，使用算法模型并将底层数据机制视为未知的算法建模方法。更准确地说，我们的目标是找到一种对输入变量进行操作以预测响应变量的算法。使用的算法有随机森林和神经网络。这些算法允许预测对未来输入变量的响应，但不提供关于响应变量和输入变量如何关联的信息。换句话说，这些算法产生了黑盒模型，因为它们没有为它们的预测提供任何直接的解释，也就是说它们是不可解释的。

在统计学界，数据建模方法在很长一段时间内普遍占据主导地位(Breiman (2001b))。然而，特别是在过去十年中，大量复杂和非结构化数据的可用性不断增加，以及计算机处理能力的增强，为向算法建模方法的强烈转变提供了机会，这主要有两个原因。

首先，数据建模方法不适用于文本、语音和图像识别等令人兴奋的问题(Breiman (2001b))。其次，对于复杂的预测问题，新算法如随机森林和神经网络在预测精度方面优于经典模型，因为它们可以对数据中的复杂关系进行建模(Breiman (2001b))。由于这些原因，越来越多的研究人员从数据建模方法转向更常见的算法建模方法，即机器学习。

但是可解释性呢?正如我们在第一段中了解到的，机器学习算法是不能对其预测提供任何直接解释的黑匣子模型。因此，问题出现了我们是否需要知道为什么一个算法会做出某种预测?为了更好地理解这个问题，理解算法如何学习预测以及使用机器学习完成哪些任务是很有帮助的。

1.2 可解释重要性

算法学习根据训练数据做出预测。因此，算法也会挑出训练数据的偏差，因此在某些情况下可能不可靠，例如，它们在测试集中表现良好，但在现实世界中则不然。 这种行为可能导致不希望的结果。

例如，考虑一个简单的哈士奇与狼的分类器，它将一些哈士奇误分类为狼(参见m.t. Ribeiro, Singh, and Guestrin (2016b))。由于机器学习模型没有提供任何关于响应和输入变量如何关联的信息，我们不知道为什么它把哈士奇归类为狼。但是，可解释性可能有助于调试算法，并查看这个问题是否持久。使用机器学习算法可解释的方法，我们将在本书后面讨论，我们会发现错误分类是由于图像上的雪。该算法学会了使用雪作为狼类图像的特征。这在训练数据集中可能有意义，但在现实世界中则不然。因此，在这个例子中，可解释性帮助我们理解算法是如何得到结果的，因此，我们知道在哪些情况下算法的鲁棒性是未知的。在下面，我们想通过关注学术和工业环境来得出可解释性的重要性。

在学术和工业应用中，增加机器学习算法的可解释性是必要的。虽然我们区分了学术界和工业界的设置，但一般的要点、因果关系、健壮性和可靠性、信任和公平在两个世界中当然都是有效的。

然而，对于学术界来说，解释能力对于识别因果关系、提高机器学习算法帮助下科学发现的可靠性和鲁棒性尤为关键。

在工业环境中，建立对机器学习系统的信任和公平在低风险环境中最为重要，而健壮性和可靠性是高风险环境的关键，在高风险环境中，机器会接管具有深远影响的决策。

既然我们已经确立了可解释性的重要性，我们如何将其付诸实践呢?由于机器学习模型的结构简单，例如短决策树或稀疏线性模型，它们被认为是可解释的，但其缺点是，性能更好的模型被预先排除在模型选择之外。因此，我们是在预测和信息之间进行交易，还是回到更简单的模型?——不!

我们将解释从机器学习模型中分离出来，并在模型训练后应用可解释的方法对模型进行分析

1.3 可解释机器学习

正如前一章所讨论的，大多数机器学习算法都产生了黑盒模型，因为它们并没有为它们的预测提供任何直接的解释。然而，我们不希望将自己限制在那些被认为是可解释的模型上，因为它们的结构简单，因此可解释性的交易预测准确性也很高。相反，我们通过应用在模型训练后分析模型的方法，即我们建立了事后可解释性，使机器学习模型具有可解释性。此外，我们正在把解释从机器学习模型中分离出来。我们关注所谓的模型无关的解释方法。

事后，模型不可知的解释系统有几个优势(M. T. Ribeiro, Singh，和Guestrin (2016a))。首先，由于我们分离了底层的机器学习模型及其解释，开发人员可以使用任何模型，因为解释方法独立于模型。从而建立了模型的柔性。其次，由于解释独立于底层的机器学习模型，所以解释的形式也变得独立。例如，在某些情况下，使用线性公式可能很有用，但在另一些情况下，使用具有特征重要性的图形可能更合适。因此，我们建立了解释的灵活性。

那么这些解释系统是做什么的呢?-如前所述，机器学习算法的解释方法确保因果关系、鲁棒性和可靠性，并建立信任和公平。更具体地说，他们这样做是通过阐明以下问题(见Molnar (2019)):

算法透明度-算法如何创建模型?
全局模型可解释性-如何训练的模型作出预测?
模块级别上的全局模型可解释性——模型的各个部分如何影响预测?
单个预测的局部可解释性——为什么模型会对一个实例做出某种预测?
一组预测的局部可解释性——为什么模型会对一组实例做出特定的预测?

现在我们得知因果和model-agnostic方法确保模型以及解释灵活性和在这方面确保因果关系的解释系统,鲁棒性和可靠性,建立信任和公平,我们可以继续并讨论特定的解释方法及其局限性。

前言
Chapter 1 Introduction
Chapter 2 Introduction to Partial Dependence Plots (PDP) and Individual Conditional Expectation (ICE)
Chapter 3 PDP and Correlated Features
Chapter 4 PDP and Causal Interpretation
Chapter 5 Introduction to Accumulated Local Effects (ALE)
Chapter 6 Comparison of ALE and PDP
Chapter 7 ALE Intervals, Piece-Wise Constant Models and Categorical Features
Chapter 8 Introduction to Feature Importance
Chapter 9 PFI, LOCO and Correlated Features
Chapter 10 Partial and Individual Permutation Feature Importance
Chapter 11 PFI: Training vs. Test Data
Chapter 12 Introduction to Local Interpretable Model-Agnostic Explanations (LIME)
Chapter 13 LIME and Neighbourhood
Chapter 14 LIME and Sampling
References