Deep neural networks have been well-known for their superb performance in handling various machine learning and artificial intelligence tasks. However, due to their over-parameterized black-box nature, it is often difficult to understand the prediction results of deep models. In recent years, many interpretation tools have been proposed to explain or reveal the ways that deep models make decisions. In this paper, we review this line of research and try to make a comprehensive survey. Specifically, we introduce and clarify two basic concepts-interpretations and interpretability-that people usually get confused. First of all, to address the research efforts in interpretations, we elaborate the design of several recent interpretation algorithms, from different perspectives, through proposing a new taxonomy. Then, to understand the results of interpretation, we also survey the performance metrics for evaluating interpretation algorithms. Further, we summarize the existing work in evaluating models' interpretability using "trustworthy" interpretation algorithms. Finally, we review and discuss the connections between deep models' interpretations and other factors, such as adversarial robustness and data augmentations, and we introduce several open-source libraries for interpretation algorithms and evaluation approaches.


翻译:深心神经网络因其在处理各种机器学习和人工智能任务方面的超强性能而广为人知。然而,由于其超度参数化的黑盒性质,往往难以理解深层模型的预测结果。近年来,提出了许多解释工具来解释或揭示深层模型的决策方式。在本文件中,我们审查了这一研究线并试图进行全面调查。具体地说,我们介绍并澄清了两种基本概念——解释和可解释性,人们通常会感到困惑。首先,为了解决解释方面的研究工作,我们从不同角度详细设计了最近若干解释算法,提出了新的分类法。然后,为了了解解释的结果,我们还调查了用于评价解释算法的业绩计量。此外,我们总结了目前利用“可信”解释算法评估模型可解释性的工作。最后,我们审查并讨论深模型解释与其他因素之间的联系,例如对抗性强和数据增强性,我们引入了数个用于解释算法和评估方法的开源图书馆。

0
下载
关闭预览

相关内容

《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
专知会员服务
115+阅读 · 2019年12月24日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
10页MIT可解释机器学习最新论文
专知
5+阅读 · 2019年2月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Arxiv
0+阅读 · 2021年6月24日
Arxiv
56+阅读 · 2021年5月3日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
19+阅读 · 2018年10月25日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
16+阅读 · 2018年2月7日
VIP会员
相关资讯
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
10页MIT可解释机器学习最新论文
专知
5+阅读 · 2019年2月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议/SCI期刊约稿信息9条
Call4Papers
3+阅读 · 2018年1月12日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关论文
Arxiv
0+阅读 · 2021年6月24日
Arxiv
56+阅读 · 2021年5月3日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
19+阅读 · 2018年10月25日
Interpretable Active Learning
Arxiv
3+阅读 · 2018年6月24日
Arxiv
16+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员