【导读】机器学习模型经常被批评是技术黑箱:只要输入数据就能得到正确答案,但却无法对其进行解释。Christoph Molnar在其新书中呼吁大家当前是时候停止将机器学习模型视为黑盒子,在学会运用模型的同时更应去学会分析模型如何做出决策,并给出了将黑盒变得具有可解释性的讨论。

机器学习领域在过去十年中发生了显著的变化。从一个纯粹的学术和研究领域方向开始,我们已经看到了机器学习在各个领域都有着广泛的应用,如零售,技术,医疗保健,科学等等。在21世纪,数据科学和机器学习的重要目标已经转变为解决现实问题,自动完成复杂任务,让我们的生活变得更加轻松,而不仅仅是在实验室做实验发表论文。机器学习,统计学或深度学习模型工具已基本成型。像Capsule Networks这样的新模型在不断地被提出,但这些新模型被工业采用却需要几年时间。因此,在工业界中,数据科学或机器学习的主要焦点更多在于应用,而不是理论。最重要的是能够解决复杂的现实问题。 


机器学习模型本质上就是一种算法,该算法试图从数据中学习潜在模式和关系,而不是通过代码构建一成不变的规则。所以,解释一个模型是如何在商业中起作用总会遇到一系列挑战。在某些领域,特别是在金融领域,比如保险、银行等,数据科学家们通常最终不得不使用更传统更简单的机器学习模型(线性模型或决策树)。原因是模型的可解释性对于企业解释模型的每一个决策至关重要。然而,这常常导致在性能上有所牺牲。复杂模型像如集成学习和神经网络通常表现出更好更精准的性能(因为真实的关系在本质上很少可以通过线性划分的),然而,我们最终无法对模型决策做出合适的解释。

成为VIP会员查看完整内容
2
76

相关内容

通过人工神经网络等获得的预测具有很高的准确性,但人类经常将这些模型视为黑盒子。对于人类来说,关于决策制定的洞察大多是不透明的。在医疗保健或金融等高度敏感领域,对决策的理解至关重要。黑盒子背后的决策要求它对人类来说更加透明、可问责和可理解。这篇综述论文提供了基本的定义,概述了可解释监督机器学习(SML)的不同原理和方法。我们进行了最先进的综述,回顾过去和最近可解释的SML方法,并根据介绍的定义对它们进行分类。最后,我们通过一个解释性的案例研究来说明原则,并讨论未来的重要方向。

https://www.zhuanzhi.ai/paper/d34a1111c1ab9ea312570ae8e011903c

目前人工智能(AI)模型的准确性是显著的,但准确性并不是最重要的唯一方面。对于高风险的领域,对模型和输出的详细理解也很重要。底层的机器学习和深度学习算法构建的复杂模型对人类来说是不透明的。Holzinger等人(2019b)指出,医学领域是人工智能面临的最大挑战之一。对于像医疗这样的领域,深刻理解人工智能的应用是至关重要的,对可解释人工智能(XAI)的需求是显而易见的。

可解释性在许多领域很重要,但不是在所有领域。我们已经提到了可解释性很重要的领域,例如卫生保健。在其他领域,比如飞机碰撞避免,算法多年来一直在没有人工交互的情况下运行,也没有给出解释。当存在某种程度的不完整时,需要可解释性。可以肯定的是,不完整性不能与不确定性混淆。不确定性指的是可以通过数学模型形式化和处理的东西。另一方面,不完全性意味着关于问题的某些东西不能充分编码到模型中(Doshi-Velez和Kim(2017))。例如,刑事风险评估工具应该是公正的,它也应该符合人类的公平和道德观念。但伦理学是一个很宽泛的领域,它是主观的,很难正式化。相比之下,飞机避免碰撞是一个很容易理解的问题,也可以被精确地描述。如果一个系统能够很好地避免碰撞,就不用再担心它了。不需要解释。

本文详细介绍了可解释SML的定义,并为该领域中各种方法的分类奠定了基础。我们区分了各种问题定义,将可解释监督学习领域分为可解释模型、代理模型拟合和解释生成。可解释模型的定义关注于自然实现的或通过使用设计原则强制实现的整个模型理解。代理模型拟合方法近似基于黑盒的局部或全局可解释模型。解释生成过程直接产生一种解释,区分局部解释和全局解释。

综上所述,本文的贡献如下:

  • 对五种不同的解释方法进行形式化,并对整个解释链的相应文献(分类和回归)进行回顾。
  • 可解释性的原因,审查重要领域和可解释性的评估
  • 这一章仅仅强调了围绕数据和可解释性主题的各个方面,比如数据质量和本体
  • 支持理解不同解释方法的连续用例
  • 回顾重要的未来方向和讨论

成为VIP会员查看完整内容
0
74

人工智能(AI)为改善私人和公共生活提供了很多机会,以自动化的方式在大型数据中发现模式和结构是数据科学的核心组件,目前驱动着计算生物学、法律和金融等不同领域的应用发展。然而,这种高度积极的影响也伴随着重大的挑战:我们如何理解这些系统所建议的决策,以便我们能够信任它们?在这个报告中,我们特别关注数据驱动的方法——特别是机器学习(ML)和模式识别模型——以便调查和提取结果和文献观察。通过注意到ML模型越来越多地部署在广泛的业务中,可以特别理解本报告的目的。然而,随着方法的日益普及和复杂性,业务涉众对模型的缺陷、特定数据的偏差等越来越关注。类似地,数据科学从业者通常不知道来自学术文献的方法,或者可能很难理解不同方法之间的差异,所以最终使用行业标准,比如SHAP。在这里,我们进行了一项调查,以帮助行业从业者(以及更广泛的数据科学家)更好地理解可解释机器学习领域,并应用正确的工具。我们后面的章节将围绕一位公认的数据科学家展开叙述,并讨论她如何通过提出正确的问题来解释模型。

https://arxiv.org/abs/2009.11698

成为VIP会员查看完整内容
0
78

【导读】可解释性是当下机器学习研究特点之一。最近,来自复旦大学的研究生朱明超,将业界《Interpretable Machine Learning》(可解释机器学习)翻译成了中文。

可解释机器学习:打开黑盒之谜(238页书籍下载)

这本书最初是由德国慕尼黑大学博士Christoph Molnar耗时两年完成的,长达250页,是仅有的一本系统介绍可解释性机器学习的书籍。

这本书最初是由Christoph Molnar耗时两年完成的《Interpretable Machine Learning》,长达250页,在公开至今该书得到密切关注,这是在可解释性领域可以找到的仅有的一本书。

这本书由复旦大学朱明超完成它的翻译和校正工作,目前已经开源放到GitHub网页上,《可解释的机器学习》。作者Christoph Molnar 在其后也发到了推特上。

“可解释”是这本书的核心论题。作者Molnar认为,可解释性在机器学习甚至日常生活中都是相当重要的一个问题。建议机器学习从业者、数据科学家、统计学家和任何对使机器学习模型可解释的人阅读本书。

Molnar表示,虽然数据集与黑盒机器学习解决了很多问题,但这不是最好的使用姿势,现在模型本身代替了数据成为了信息的来源,但可解释性可以提取模型捕捉到的额外信息。当我们的日常生活中全都是机器和算法时,也需要可解释性来增加社会的接受度。毕竟要是连科学家都研究不透“黑盒”,怎样让普通人完全信任模型做出的决策呢?

这本书的重点是机器学习的可解释性。你将学习简单的、可解释的模型,如线性回归、决策树和决策规则等。后面几章重点介绍了解释黑盒模型的模型无关的一般方法,如特征重要性和累积局部效应,以及用 Shapley 值和 LIME 解释单个实例预测。

对各种解释方法进行了深入的解释和批判性的讨论。它们是如何工作的?优点和缺点是什么?如何解释它们的输出?本书将使你能够选择并正确应用最适合你的机器学习项目的解释方法。你阅读本书后,内化知识还使你能够更好地理解和评估arxiv.org上发表的有关可解释性的新论文。

这本书中用许多平实的语言,结合各类现实生活中的例子介绍了相关的概念,还配了参考链接可以进一步学习了解。

《可解释的机器学习》该书总共包含 7 章内容。章节目录如下:

  • 第一章:前言
  • 第二章:可解释性
  • 第三章:数据集
  • 第四章:可解释的模型
  • 第五章:模型无关方法
  • 第六章:基于样本的解释
  • 第七章:水晶球

传送门 GitHub:https://github.com/MingchaoZhu/InterpretableMLBook

成为VIP会员查看完整内容
0
241

【导读】机器学习大拿Christoph Molnar继推出《可解释机器学习》一著作,进来和他的学生们推出新书可解释机器学习的局限性《Limitations of Interpretable Machine Learning Methods》,阐述了可解释机器学习的概念、方法等,以及重要的是适用的边界,即可解释机器学习的局限,知道能与不能方能用好IML。本书共14章,是Christoph Molnar课题组最新成果,值得参阅。

本书解释了当前可解释机器学习方法的局限性。这些方法包括部分相关图(PDP)、累积局部效应(ALE)、排列特征重要性、单因素协变量缺失(LOCO)和局部可解释模型无关解释(LIME)。所有这些方法都可以用来解释训练过的机器学习模型的行为和预测。但在以下情况下,这些解释方法可能并不适用:

  • 如果模型对交互进行建模(例如,当使用随机森林时)

  • 如果特征之间有很强的相关性

  • 如果模型没有正确地建立因果关系模型

  • 解释方法参数设置不正确的

这本书是“可解释机器学习的局限性”研讨会的成果,该研讨会于2019年夏天在慕尼黑大学统计系举行。

成为VIP会员查看完整内容
0
102

机器学习模型经常被批评是技术黑箱:只要输入数据就能得到正确答案,但却无法对其进行解释。Christoph Molnar在其新书中呼吁大家当前是时候停止将机器学习模型视为黑盒子,在学会运用模型的同时更应去学会分析模型如何做出决策,并给出了将黑盒变得具有可解释性的讨论。

成为VIP会员查看完整内容
0
114
小贴士
相关VIP内容
相关论文
AdamD: Improved bias-correction in Adam
John St John
0+阅读 · 10月22日
Jonas Kastberg Hinrichsen,Jesper Bengtson,Robbert Krebbers
0+阅读 · 10月20日
Nikolaos Myrtakis,Ioannis Tsamardinos,Vassilis Christophides
0+阅读 · 10月18日
Madhurananda Pahar,Marisa Klopper,Byron Reeve,Grant Theron,Rob Warren,Thomas Niesler
0+阅读 · 10月17日
Axel Parmentier,Thibaut Vidal
4+阅读 · 6月25日
Joseph Y. Halpern
5+阅读 · 2019年9月30日
q-Space Novelty Detection with Variational Autoencoders
Aleksei Vasilev,Vladimir Golkov,Marc Meissner,Ilona Lipp,Eleonora Sgarlata,Valentina Tomassini,Derek K. Jones,Daniel Cremers
3+阅读 · 2018年10月25日
Top