Deep neural networks have been well-known for their superb performance in handling various machine learning and artificial intelligence tasks. However, due to their over-parameterized black-box nature, it is often difficult to understand the prediction results of deep models. In recent years, many interpretation tools have been proposed to explain or reveal the ways that deep models make decisions. In this paper, we review this line of research and try to make a comprehensive survey. Specifically, we introduce and clarify two basic concepts-interpretations and interpretability-that people usually get confused. First of all, to address the research efforts in interpretations, we elaborate the design of several recent interpretation algorithms, from different perspectives, through proposing a new taxonomy. Then, to understand the results of interpretation, we also survey the performance metrics for evaluating interpretation algorithms. Further, we summarize the existing work in evaluating models' interpretability using "trustworthy" interpretation algorithms. Finally, we review and discuss the connections between deep models' interpretations and other factors, such as adversarial robustness and data augmentations, and we introduce several open-source libraries for interpretation algorithms and evaluation approaches.


翻译:深心神经网络因其在处理各种机器学习和人工智能任务方面的超强性能而广为人知。然而,由于其超度参数化的黑盒性质,往往难以理解深层模型的预测结果。近年来,提出了许多解释工具来解释或揭示深层模型的决策方式。在本文件中,我们审查了这一研究线并试图进行全面调查。具体地说,我们介绍并澄清了两种基本概念——解释和可解释性,人们通常会感到困惑。首先,为了解决解释方面的研究工作,我们从不同角度详细设计了最近若干解释算法,提出了新的分类法。然后,为了了解解释的结果,我们还调查了用于评价解释算法的业绩计量。此外,我们总结了目前利用“可信”解释算法评估模型可解释性的工作。最后,我们审查并讨论深模型解释与其他因素之间的联系,例如对抗性强和数据增强性,我们引入了数个用于解释算法和评估方法的开源图书馆。

0
下载
关闭预览

相关内容

专知会员服务
44+阅读 · 2020年10月31日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
2018 年最棒的三篇 GAN 论文
AI科技评论
4+阅读 · 2019年1月14日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
已删除
将门创投
4+阅读 · 2018年11月15日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
14+阅读 · 2020年12月17日
Arxiv
19+阅读 · 2018年10月25日
Arxiv
16+阅读 · 2018年2月7日
Arxiv
3+阅读 · 2017年12月23日
VIP会员
相关VIP内容
专知会员服务
44+阅读 · 2020年10月31日
【干货书】真实机器学习,264页pdf,Real-World Machine Learning
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
202+阅读 · 2020年2月24日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
相关资讯
人工智能 | CCF推荐期刊专刊约稿信息6条
Call4Papers
5+阅读 · 2019年2月18日
2018 年最棒的三篇 GAN 论文
AI科技评论
4+阅读 · 2019年1月14日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
已删除
将门创投
4+阅读 · 2018年11月15日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员