在我的第一本书《可解释的机器学习》中,我忽视了 SHAP 的包含。我进行了一项 Twitter 调查,以确定解释机器学习模型最常用的方法。选项包括 LIME、排列特征重要性、部分依赖图和“其他”。SHAP 不是一个选项。令我惊讶的是,大多数受访者选择了“其他”,并且有很多评论强调 SHAP 的缺失。虽然我那时已经知道 SHAP,但我低估了它在机器学习可解释性中的受欢迎程度。这种受欢迎是一把双刃剑。我的博士研究围绕部分依赖图和排列特征重要性展开。在多次提交会议论文时,我们被建议将重点放在 SHAP 或 LIME 上。这个建议是错误的,因为我们应该为所有解释方法取得进展,而不仅仅是 SHAP,但这凸显了 SHAP 的受欢迎程度。SHAP 受到了相当一部分的批评:计算成本高,难以解释,被过分吹捧。我同意这些批评的一部分。在可解释的机器学习领域,没有完美的方法;我们必须学会在限制之内工作,这本书也讲解了这一点。然而,SHAP 在很多方面都表现出色:它可以适用于任何模型,它在构建全局解释时是模块化的,它有一个庞大的 SHAP 适应生态系统。正如你所见,我对 SHAP 的态度是混合的,既有钦佩也有挫败感——也许这是一个平衡的立场,用于写作 SHAP。我无意过分吹捧它,但我相信它是一个值得理解的有益工具。机器学习模型是强大的工具,但其缺乏可解释性是一个挑战。通常不清楚为什么做出了某个预测,什么是最重要的特征,以及这些特征如何总体影响预测。许多人认为,只要机器学习模型表现良好,可解释性就是不必要的。然而,从调试到建立模型信任,有很多实际的原因需要可解释性。

成为VIP会员查看完整内容
70

相关内容

可解释性是指一个人能够持续预测模型结果的程度。机器学习模型的可解释性越高,人们就越容易理解为什么做出某些决定或预测。
【2022新书】优化与机器学习:统计物理方法,225页pdf
专知会员服务
85+阅读 · 2022年10月5日
【经典书】Python地理信息数据分析,362页pdf
专知会员服务
85+阅读 · 2022年7月4日
【2020新书】使用R和Python的高级BI分析,425页pdf
专知会员服务
32+阅读 · 2020年10月14日
【新书】Pro 机器学习算法Python实现,379页pdf
专知会员服务
198+阅读 · 2020年2月11日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2023年10月16日
Arxiv
145+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
360+阅读 · 2023年3月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
33+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员