Along with the great success of deep neural networks, there is also growing concern about their black-box nature. The interpretability issue affects people's trust on deep learning systems. It is also related to many ethical problems, e.g., algorithmic discrimination. Moreover, interpretability is a desired property for deep networks to become powerful tools in other research fields, e.g., drug discovery and genomics. In this survey, we conduct a comprehensive review of the neural network interpretability research. We first clarify the definition of interpretability as it has been used in many different contexts. Then we elaborate on the importance of interpretability and propose a novel taxonomy organized along three dimensions: type of engagement (passive vs. active interpretation approaches), the type of explanation, and the focus (from local to global interpretability). This taxonomy provides a meaningful 3D view of distribution of papers from the relevant literature as two of the dimensions are not simply categorical but allow ordinal subcategories. Finally, we summarize the existing interpretability evaluation methods and suggest possible research directions inspired by our new taxonomy.


翻译:随着深层神经网络的巨大成功,人们也日益关注其黑箱性质。可解释性问题影响人们对深层学习系统的信任。它也与许多伦理问题有关,例如算法歧视。此外,可解释性是深层网络成为其他研究领域(例如毒品发现和基因组学)的强大工具的理想属性。在这次调查中,我们全面审查了神经网络可解释性研究。我们首先澄清了可解释性的定义,因为解释性在许多不同背景下都曾使用过。然后我们阐述了可解释性的重要性,并提出了一个新的分类学,分为三个方面:参与类型(被动与积极解释方法)、解释类型和重点(从局部到全球解释)。这一分类提供了从相关文献中分发文件的有意义的三维观点,因为两个方面不仅明确,而且允许分层分类。最后,我们总结了现有的可解释性评估方法,并提出了我们新的分类学所启发的可能研究方向。

1
下载
关闭预览

相关内容

分类学是分类的实践和科学。Wikipedia类别说明了一种分类法,可以通过自动方式提取Wikipedia类别的完整分类法。截至2009年,已经证明,可以使用人工构建的分类法(例如像WordNet这样的计算词典的分类法)来改进和重组Wikipedia类别分类法。 从广义上讲,分类法还适用于除父子层次结构以外的关系方案,例如网络结构。然后分类法可能包括有多父母的单身孩子,例如,“汽车”可能与父母双方一起出现“车辆”和“钢结构”;但是对某些人而言,这仅意味着“汽车”是几种不同分类法的一部分。分类法也可能只是将事物组织成组,或者是按字母顺序排列的列表;但是在这里,术语词汇更合适。在知识管理中的当前用法中,分类法被认为比本体论窄,因为本体论应用了各种各样的关系类型。 在数学上,分层分类法是给定对象集的分类树结构。该结构的顶部是适用于所有对象的单个分类,即根节点。此根下的节点是更具体的分类,适用于总分类对象集的子集。推理的进展从一般到更具体。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
201+阅读 · 2020年2月24日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
计算机类 | 11月截稿会议信息9条
Call4Papers
6+阅读 · 2018年10月14日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
110+阅读 · 2020年2月5日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
22+阅读 · 2018年2月14日
Arxiv
16+阅读 · 2018年2月7日
Arxiv
5+阅读 · 2017年4月12日
VIP会员
相关资讯
AI可解释性文献列表
专知
42+阅读 · 2019年10月7日
计算机类 | 11月截稿会议信息9条
Call4Papers
6+阅读 · 2018年10月14日
LibRec 精选:推荐的可解释性[综述]
LibRec智能推荐
10+阅读 · 2018年5月4日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
【计算机类】期刊专刊/国际会议截稿信息6条
Call4Papers
3+阅读 · 2017年10月13日
可解释的CNN
CreateAMind
17+阅读 · 2017年10月5日
相关论文
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Arxiv
110+阅读 · 2020年2月5日
Arxiv
53+阅读 · 2018年12月11日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
22+阅读 · 2018年2月14日
Arxiv
16+阅读 · 2018年2月7日
Arxiv
5+阅读 · 2017年4月12日
Top
微信扫码咨询专知VIP会员