打开人工智能黑箱:看最新16篇可解释深度学习文章,带您了解增强AI透明性

2019 年 1 月 13 日 专知
打开人工智能黑箱:看最新16篇可解释深度学习文章,带您了解增强AI透明性

【导读】深度学习通常在监督任务上有较高的准确性,但是无法给出产出过程的明确解释,这也是一直被诟病“黑箱模型”。而可解释性AI在关于人类的很多应用方面是必需的,如医疗诊断、教育学习、政府决策等等。最近,关于深度学习的可解释性,学者们做了大量的研究工作,专知整理关于深度学习可解释性的最新一些文章,希望能给读者提供一些参考和帮助。

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知

  • 后台回复“XAI” 就可以获取美国Darpa18页可解释人工智能PPT载链接~ 

  • 专知《深度学习:算法到实战》2019年1月正在开讲,欢迎报名!

专知开课啦!《深度学习: 算法到实战》, 中科院博士为你讲授!



可解释人工智能:从SML到XAI


美国darpa网站,描述了传统机器学习模型与解释性人工智能模型的区别,现在的统计机器学习模型更加注重预测结果,比如推荐什么,识别是什么,什么决定。

https://www.darpa.mil/program/explainable-artificial-intelligence

而解释性人工智能模型除了给出预测结果,还更加注重预测结果的过程,为什么给出这样的预测结果,做出解释。增强 AI 模型的透明(transparency)是人机互信的前提。

比如

比如图像识别的任务,现在的模型通过卷积神经网络会识别出这是一只猫。

可解释人工智能模型,会给出解释,它有皮毛胡须 爪子, 这一确认这是一只猫。



最近《可解释性深度学习》论文


1. 可解释性卷积神经网络

   在视觉识别方面,卷积神经网络毫无疑问取得的巨大的识别性能提升。如何增强对识别过程的透明性,是一个重要的问题。这一方面,相关学者做了很多工作。周博磊博士(香港中文大学)和张拳石博士(上海交通大学)在这方面做了大量的工作。

视觉智能的可解释表示学习

  •  Interpreting Deep Visual Representations via Network Dissection.
    Bolei Zhou*, David Bau*, Aude Oliva, and Antonio Torralba. IEEE Transactions on Pattern Analysis and Machine Intelligence, June 2018. 

    http://netdissect.csail.mit.edu/


  • Bolei Zhou, Interpretable Representation Learning for Visual Intelligence. PhD thesis submitted to MIT EECS, May 17, 2018.
    Committee: Antonio Torralba, Aude Oliva, Bill Freeman.

    http://people.csail.mit.edu/bzhou/publication/thesis.pdf


可解释CNN

  • Visual interpretability for Deep Learning: a Survey. Quanshi Zhang and Song-Chun Zhu. Frontiers of Information Technology & Electronic Engineering. Vol. 19, No. 1, page 27-39, 2018


    http://www.zhuanzhi.ai/paper/cc8b59ceb80123200f202301e1a81e2f

  • Interpretable Convolutional Neural Networks. Quanshi Zhang, Ying Nian Wu, and Song-Chun Zhu. CVPR (Spotlight) 2018 

    http://www.zhuanzhi.ai/paper/e667f830addd942807055f020b80594c

  • Interpreting CNN Knowledge via an Explanatory Graph. Quanshi Zhang, Ruiming Cao, Feng Shi, Ying Nian Wu, and Song-Chun Zhu AAAI, 2018

    http://www.zhuanzhi.ai/paper/e224cdc24f8c2a7f0fbfbb5f749d940a


2. 可解释性循环神经网络


  • 周志华老师最新文章。Learning with Interpretable Structure from RNN. Bo-Jian Hou, Zhi-Hua Zhou

    http://www.zhuanzhi.ai/paper/82929da4eacc81e9e25cf9f0e9770814

  • Relational recurrent neural networks. Adam Santoro,Ryan Faulkner,David Raposo,Jack Rae,Mike Chrzanowski,Theophane Weber,Daan Wierstra,Oriol Vinyals,Razvan Pascanu,Timothy Lillicrap

    http://www.zhuanzhi.ai/paper/ecd625987c9e4c5dba887fa20fc1d3bd

  • Interpretable LSTMs For Whole-Brain Neuroimaging Analyses.  Armin W. ThomasHauke R. HeekerenKlaus-Robert MüllerWojciech Samek. 

    https://arxiv.org/abs/1810.09945

  • Interpretable Structure-Evolving LSTMXiaodan LiangLiang LinXiaohui ShenJiashi FengShuicheng YanEric P. Xing

    https://arxiv.org/pdf/1703.03055.pdf



3. 图神经网络

  • Deep Learning on Graphs: A Survey. Ziwei Zhang,Peng Cui,Wenwu Zhu

    http://www.zhuanzhi.ai/paper/abe85f14a3697712fd1c3d0c3b5ddcb0

    从声学、图像到自然语言处理,深度学习在许多领域都取得了成功。然而,将深度学习应用于无所不在的图数据并非易事,因为图形具有独特的特性。近年来,这一领域的研究取得了很大的进展,极大地推动了图分析技术的发展。在本研究中,我们全面回顾了应用于图深度学习各种方法。我们将现有的方法分为三大类:半监督方法,包括图神经网络和图卷积网络; 非监督方法,包括图自动编码器; 然后,我们根据这些方法的发展历史,系统地概述这些方法。我们还分析了这些方法的差异以及如何组合不同的体系结构。最后,简要概述了它们的应用,并讨论了未来可能的发展方向。


  • Graph Neural Networks: A Review of Methods and Applications. Jie Zhou,Ganqu Cui,Zhengyan Zhang,Cheng Yang,Zhiyuan Liu,Maosong Sun

    http://www.zhuanzhi.ai/paper/488d7f3542ddb0fbda2d94de0a95f882

    很多学习任务都需要处理图形数据,这些数据包含了元素之间丰富的关系信息。建模物理系统,学习分子指纹,预测蛋白质界面,以及疾病分类都需要模型从图形输入中学习。在从文本、图像等非结构化数据学习等领域,对提取出的句子依赖树、图像场景图等结构进行推理是一个重要的研究课题,也需要图形推理模型。图神经网络(GNNs)是一种连接主义模型,它通过在图的节点之间传递消息来获取图的依赖性。与标准神经网络不同的是,图神经网络保留了一种状态,这种状态可以用任意深度表示邻居的信息。虽然原始图神经网络很难训练成定点,但是最近在网络结构、优化技术和并行计算方面的进展使得利用它们进行成功的学习成为可能。近年来,基于图卷积网络(GCN)和门控图神经网络(GGNN)的系统在上述许多任务上都表现出了突破性的性能。在本研究中,我们对现有的图神经网络模型进行了详细的回顾,系统地对其应用进行了分类,并提出了四个有待进一步研究的问题。



  • A Comprehensive Survey on Graph Neural Networks. 

    http://www.zhuanzhi.ai/paper/9b6b624c68a446ccc9b952c90c76c72b

    摘要:近年来,从图像分类到视频处理再到语音识别和自然语言处理,深度学习已经变革了多项机器学习任务。这些任务中的数据通常表示在欧几里得空间中。然而,越来越多的应用使用非欧几里得域生成的数据,并将它们表示为具有复杂关系和相互依赖关系的图。虽然图数据的复杂性对现有机器学习算法提出了重大挑战,但最近许多研究开始将深度学习方法扩展到图数据。本文综述了数据挖掘和机器学习领域中的图神经网络(GNN),并按照新的方法对图神经网络的最新进展进行了分类。在关注图卷积网络的同时,他们还回顾了最近开发的其他架构,例如图注意力网络、图自编码器,图生成网络以及图时空网络等。我们还进一步讨论了图神经网络在多个领域的应用并总结了不同学习任务现有算法的开源代码及基准。最后,我们提出了这一快速发展领域的研究方向。


4. 其他

  • SDRL: Interpretable and Data-efficient Deep Reinforcement Learning Leveraging Symbolic Planning. Daoming Lyu, Fangkai Yang, Bo Liu, Steven Gustafson. AAAI 2019


  • Explaining AlphaGo: Interpreting Contextual Effects in Neural Networks. Zenan Ling, Haotian Ma, Yu Yang, Robert C. Qiu, Song-Chun Zhu, Quanshi Zhang

    http://www.zhuanzhi.ai/paper/098d54a6f36db868ab0ec5093d57fd67


  • Explainable Recommendation Through Attentive Multi-View Learning Jingyue Gao (Peking University)*; Xiting Wang (Microsoft Research Asia); Yasha Wang (Peking University); Xing Xie (Microsoft Research Asia) AAAI 2019. 


  • Explainable Reasoning over Knowledge Graphs for Recommendation

    Xiang Wang, Dingxian Wang, Canran Xu, Xiangnan He, Yixin Cao, Tat-Seng Chua

    http://www.zhuanzhi.ai/paper/c5aea5726ea76ff7beb8083bca1083c7


5. 更多可解释人工智能资料

Interesting resources related to XAI (Explainable Artificial Intelligence)

https://github.com/pbiecek/xai_resources



-END-

专 · 知

   专知《深度学习: 算法到实战》课程正在开讲! 中科院博士为你讲授!


请加专知小助手微信(扫一扫如下二维码添加),咨询《深度学习:算法到实战》参团限时优惠报名~

欢迎微信扫一扫加入专知人工智能知识星球群,获取专业知识教程视频资料和与专家交流咨询!

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
127

相关内容

【导读】最新的一期《Science》机器人杂志刊登了关于XAI—Explainable artificial intelligence专刊,涵盖可解释人工智能的简述论文,论述了XAI对于改善用户理解、信任与管理AI系统的重要性。并包括5篇专刊论文,值得一看。

BY DAVID GUNNING, MARK STEFIK, JAESIK CHOI, TIMOTHY MILLER, SIMONE STUMPF, GUANG-ZHONG YANG

SCIENCE ROBOTICS18 DEC 2019

可解释性对于用户有效地理解、信任和管理强大的人工智能应用程序是至关重要的。

https://robotics.sciencemag.org/content/4/37/eaay7120

最近在机器学习(ML)方面的成功引发了人工智能(AI)应用的新浪潮,为各种领域提供了广泛的益处。然而,许多这些系统中不能向人类用户解释它们的自主决策和行为。对某些人工智能应用来说,解释可能不是必要的,一些人工智能研究人员认为,强调解释是错误的,太难实现,而且可能是不必要的。然而,对于国防、医学、金融和法律的许多关键应用,解释对于用户理解、信任和有效地管理这些新的人工智能合作伙伴是必不可少的(参见最近的评论(1-3))。

最近人工智能的成功很大程度上归功于在其内部表示中构造模型的新ML技术。其中包括支持向量机(SVMs)、随机森林、概率图形模型、强化学习(RL)和深度学习(DL)神经网络。尽管这些模型表现出了高性能,但它们在可解释性方面是不透明的。ML性能(例如,预测准确性)和可解释性之间可能存在固有的冲突。通常,性能最好的方法(如DL)是最不可解释的,而最可解释的方法(如决策树)是最不准确的。图1用一些ML技术的性能可解释性权衡的概念图说明了这一点。

图1 ML技术的性能与可解释性权衡。

(A)学习技巧和解释能力。(B)可解释模型:学习更结构化、可解释或因果模型的ML技术。早期的例子包括贝叶斯规则列表、贝叶斯程序学习、因果关系的学习模型,以及使用随机语法学习更多可解释的结构。深度学习:一些设计选择可能产生更多可解释的表示(例如,训练数据选择、架构层、损失函数、正则化、优化技术和训练序列)。模型不可知论者:对任意给定的ML模型(如黑箱)进行试验以推断出一个近似可解释的模型的技术。

什么是XAI?

一个可解释的人工智能(XAI)系统的目的是通过提供解释使其行为更容易被人类理解。有一些通用原则可以帮助创建有效的、更人性化的人工智能系统:XAI系统应该能够解释它的能力和理解;解释它已经做了什么,现在正在做什么,接下来会发生什么; 披露其所依据的重要信息(4)。

然而,每一个解释都是根据AI系统用户的任务、能力和期望而设置的。因此,可解释性和可解释性的定义是与域相关的,并且可能不是与域独立定义的。解释可以是全面的,也可以是片面的。完全可解释的模型给出了完整和完全透明的解释。部分可解释的模型揭示了其推理过程的重要部分。可解释模型服从根据域定义的“可解释性约束”(例如,某些变量和相关变量的单调性服从特定关系),而黑箱或无约束模型不一定服从这些约束。部分解释可能包括变量重要性度量、局部模型(在特定点近似全局模型)和显著性图。

来自用户的期望

XAI假设向最终用户提供一个解释,该用户依赖于AI系统所产生的决策、建议或操作,然而可能有许多不同类型的用户,通常在系统开发和使用的不同时间点(5)。例如,一种类型的用户可能是智能分析师、法官或操作员。但是,需要对系统进行解释的其他用户可能是开发人员或测试操作员,他们需要了解哪里可能有改进的地方。然而,另一个用户可能是政策制定者,他们试图评估系统的公平性。每个用户组可能有一个首选的解释类型,能够以最有效的方式交流信息。有效的解释将考虑到系统的目标用户组,他们的背景知识可能不同,需要解释什么。

可操作性——评估和测量

一些方法提出了一些评价和衡量解释有效性的方法;然而,目前还没有通用的方法来衡量XAI系统是否比非XAI系统更容易被用户理解。其中一些度量是用户角度的主观度量,例如用户满意度,可以通过对解释的清晰度和实用性的主观评级来度量。解释有效性的更客观的衡量标准可能是任务绩效; 即,这样的解释是否提高了用户的决策能力?可靠和一致的测量解释的影响仍然是一个开放的研究问题。XAI系统的评价和测量包括评价框架、共同点[不同的思维和相互理解(6)]、常识和论证[为什么(7)]。

XAI -问题和挑战

在ML和解释的交集处仍然存在许多活跃的问题和挑战。

  1. 从电脑开始还是从人开始(8). XAI系统应该针对特定的用户进行解释吗?他们应该考虑用户缺乏的知识吗?我们如何利用解释来帮助交互式和人在循环的学习,包括让用户与解释交互以提供反馈和指导学习?

  2. 准确性与可解释性。XAI解释研究的一条主线是探索解释的技术和局限性。可解释性需要考虑准确性和保真度之间的权衡,并在准确性、可解释性和可处理性之间取得平衡。

  3. 使用抽象来简化解释。高级模式是在大步骤中描述大计划的基础。对抽象的自动发现一直是一个挑战,而理解学习和解释中抽象的发现和共享是当前XAI研究的前沿。

  4. 解释能力与解释决策。有资格的专家精通的一个标志是他们能够对新情况进行反思。有必要帮助终端用户了解人工智能系统的能力,包括一个特定的人工智能系统有哪些能力,如何衡量这些能力,以及人工智能系统是否存在盲点;也就是说,有没有一类解是永远找不到的?

从以人为本的研究视角来看,对能力和知识的研究可以使XAI超越解释特定XAI系统和帮助用户确定适当信任的角色。未来,XAIs可能最终会扮演重要的社会角色。这些角色不仅包括向个人学习和解释,而且还包括与其他代理进行协调以连接知识、发展跨学科见解和共同点、合作教授人员和其他代理,以及利用以前发现的知识来加速知识的进一步发现和应用。从这样一个知识理解和生成的社会视角来看,XAI的未来才刚刚开始。

本期刊论文

Explainable robotics in science fiction

BY ROBIN R. MURPHY

SCIENCE ROBOTICS18 DEC 2019 RESTRICTED ACCESS

我们会相信机器人吗?科幻小说说没有,但可解释的机器人可能会找到方法。

A tale of two explanations: Enhancing human trust by explaining robot behavior BY MARK EDMONDS, FENG GAO, HANGXIN LIU, XU XIE, SIYUAN QI, BRANDON ROTHROCK, YIXIN ZHU, YING NIAN WU, HONGJING LU, SONG-CHUN ZHU

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

最适合促进信任的解释方法不一定对应于那些有助于最佳任务性能的组件。

A formal methods approach to interpretable reinforcement learning for robotic planning

BY XIAO LI, ZACHARY SERLIN, GUANG YANG, CALIN BELTA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

形式化的强化学习方法能从形式化的语言中获得回报,并保证了安全性。

An autonomous untethered fast soft robotic insect driven by low-voltage dielectric elastomer actuators BY XIAOBIN JI, XINCHANG LIU, VITO CACUCCIOLO, MATTHIAS IMBODEN, YOAN CIVET, ALAE EL HAITAMI, SOPHIE CANTIN, YVES PERRIARD, HERBERT SHEA

SCIENCE ROBOTICS18 DEC 2019 FULL ACCESS

参考文献:

  1. W. Samek, G. Montavon, A. Vedaldi, L. K. Hansen, K. R. Muller, Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (Springer Nature, 2019).

Google Scholar

  1. H. J. Escalante, S. Escalera, I. Guyon, X. Baró, Y. Güçlütürk, U. Güçlü, M. van Gerven, Explainable and Interpretable Models in Computer Vision and Machine Learning (Springer, 2018).

  2. O. Biran, C. Cotton, Explanation and justification in machine learning: A survey, paper presented at the IJCAI-17 Workshop on Explainable AI (XAI), Melbourne, Australia, 20 August 2017.

  3. Intelligibility and accountability: Human considerations in context-aware systems.Hum. Comput. Interact. 16, 193–212 (2009).

  4. T. Kulesza, M. Burnett, W. Wong, S. Stumpf, Principles of explanatory debugging to personalize interactive machine learning, in Proceedings of the 20th International Conference on Intelligent User Interfaces (ACM, 2015), pp. 126–137.

  5. H. H. Clark, S. E. Brennan, Grounding in communication, in Perspectives on Socially Shared Cognition, L. B. Resnick, J. M. Levine, S. D. Teasley, Eds. (American Psychological Association, 1991), pp. 127–149.

  6. D. Wang, Q. Yang, A. Abdul, B. Y. Lim, Designing theory-driven user-centric explainable AI, in Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems (ACM, 2019), paper no. 601.

  1. Explanation in artificial intelligence: Insights from the social sciences. Artif. Intell. 267, 1–38(2018).

  2. D. Gunning, Explainable artificial intelligence (XAI), DARPA/I2O;www.cc.gatech.edu/~alanwags/DLAI2016/(Gunning)%20IJCAI-16%20DLAI%20WS.pdf.

成为VIP会员查看完整内容
0
89
小贴士
相关论文
Emmanuel Bengio,Joelle Pineau,Doina Precup
8+阅读 · 2020年3月13日
Xiaoran Xu,Wei Feng,Yunsheng Jiang,Xiaohui Xie,Zhiqing Sun,Zhi-Hong Deng
5+阅读 · 2019年9月27日
Chunwei Tian,Yong Xu,Lunke Fei,Ke Yan
4+阅读 · 2018年10月11日
Dual Memory Network Model for Biased Product Review Classification
Yunfei Long,Mingyu Ma,Qin Lu,Rong Xiang,Chu-Ren Huang
3+阅读 · 2018年9月16日
Chenhui Chu,Rui Wang
13+阅读 · 2018年6月1日
Yongfeng Zhang,Xu Chen
10+阅读 · 2018年5月13日
Poorya Zaremoodi,Gholamreza Haffari
9+阅读 · 2018年5月11日
Quanshi Zhang,Ying Nian Wu,Song-Chun Zhu
15+阅读 · 2018年2月14日
Quanshi Zhang,Song-Chun Zhu
12+阅读 · 2018年2月7日
Top