深度神经网络一直在推动自然语言处理领域的发展,被认为是解决机器翻译、摘要和问答等复杂自然语言处理任务的事实建模方法。尽管深度神经网络的有效性得到了证实,但它们的不透明性是引起关注的主要原因。

在本教程中,我们将从两个角度介绍解释神经网络模型的细粒度组件的研究工作,一是内在分析,二是因果性分析。前者是一种方法来分析神经元关于一个理想的语言概念或任务。后者研究神经元和输入特征在解释模型决策中的作用。我们还将讨论解释方法和因果分析如何能够更好地解释模型预测。最后,我们将带您浏览各种工具包,这些工具包有助于细粒度解释和神经模型的原因分析。

https://2021.naacl.org/program/tutorials/#t2

成为VIP会员查看完整内容
0
16

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

自然语言数据的一个重要子集包括跨越数千个token的文档。处理这样长的序列的能力对于许多NLP任务是至关重要的,包括文档分类、摘要、多跳和开放域问答,以及文档级或多文档关系提取和引用解析。然而,将最先进的模型扩展到较长的序列是一个挑战,因为许多模型都是为较短的序列设计的。一个值得注意的例子是Transformer模型,它在序列长度上有二次计算代价,这使得它们对于长序列任务的代价非常昂贵。这反映在许多广泛使用的模型中,如RoBERTa和BERT,其中序列长度被限制为只有512个tokens。在本教程中,我们将向感兴趣的NLP研究人员介绍最新和正在进行的文档级表示学习技术。此外,我们将讨论新的研究机会,以解决该领域现有的挑战。我们将首先概述已建立的长序列自然语言处理技术,包括层次、基于图和基于检索的方法。然后,我们将重点介绍最近的长序列转换器方法,它们如何相互比较,以及它们如何应用于NLP任务(参见Tay等人(2020)最近的综述)。我们还将讨论处理长序列的关键的各种存储器节省方法。在本教程中,我们将使用分类、问答和信息提取作为激励任务。我们还将有一个专注于总结的实际编码练习。

成为VIP会员查看完整内容
0
25

传统的自然语言处理方法具有可解释性,这些自然语言处理方法包括基于规则的方法、决策树模型、隐马尔可夫模型、逻辑回归等,也被称为白盒技术。近年来,以语言嵌入作为特征的深度学习模型(黑盒技术)不断涌现,虽然这些方法在许多情况下显著提高了模型的性能,但在另一方面这些方法使模型变得难以解释。用户难以了解数据经过怎样的过程得到所期望的结果,进而产生许多问题,比如削弱了用户与系统之间的交互(如聊天机器人、推荐系统等)。机器学习社区对可解释性重要程度的认识日益增强,并创造了一个新兴的领域,称为可解释人工智能(XAI)。而关于可解释性有多种定义,大部分相关文章的论证也因此有所差异。这里我们关注的是可解释人工智能给用户提供关于模型如何得出结果的可解释,也称为结果解释问题(outcome explanation problem)[1]。在可解释人工智能中,解释可以帮助用户建立对基于NLP的人工智能系统的信任。本文依据前人的综述[2]讨论了可解释的分类方式,介绍了能够给出可解释的技术及其具体操作,并简要地描述了每一种技术及其代表性论文。

成为VIP会员查看完整内容
0
24

深度学习方法在许多人工智能任务中实现了不断提高的性能。深度模型的一个主要限制是它们不具有可解释性。这种限制可以通过开发事后技术来解释预测来规避,从而产生可解释的领域。近年来,深度模型在图像和文本上的可解释性研究取得了显著进展。在图数据领域,图神经网络(GNNs)及其可解释性正经历着快速的发展。然而,对GNN解释方法并没有统一的处理方法,也没有一个标准的评价基准和试验平台。在这个综述中,我们提供了一个统一的分类的视角,目前的GNN解释方法。我们对这一问题的统一和分类处理,阐明了现有方法的共性和差异,并为进一步的方法论发展奠定了基础。为了方便评估,我们为GNN的可解释性生成了一组基准图数据集。我们总结了当前的数据集和评价GNN可解释性的指标。总之,这项工作为GNN的解释提供了一个统一的方法处理和一个标准化的评价测试平台。

引言

深度神经网络的发展彻底改变了机器学习和人工智能领域。深度神经网络在计算机视觉[1]、[2]、自然语言处理[3]、[4]、图数据分析[5]、[6]等领域取得了良好的研究成果。这些事实促使我们开发深度学习方法,用于在跨学科领域的实际应用,如金融、生物学和农业[7]、[8]、[9]。然而,由于大多数深度模型是在没有可解释性的情况下开发的,所以它们被视为黑盒。如果没有对预测背后的底层机制进行推理,深度模型就无法得到完全信任,这就阻止了它们在与公平性、隐私性和安全性有关的关键应用中使用。为了安全可靠地部署深度模型,有必要提供准确的预测和人类可理解的解释,特别是为跨学科领域的用户。这些事实要求发展解释技术来解释深度神经网络。

深度模型的解释技术通常研究深度模型预测背后的潜在关系机制。一些方法被提出来解释图像和文本数据的深度模型。这些方法可以提供与输入相关的解释,例如研究输入特征的重要分数,或对深度模型的一般行为有较高的理解。例如,通过研究梯度或权重[10],[11],[18],我们可以分析输入特征和预测之间的灵敏度。现有的方法[12],[13],[19]映射隐藏特征图到输入空间和突出重要的输入特征。此外,通过遮挡不同的输入特征,我们可以观察和监测预测的变化,以识别重要的特征[14],[15]。与此同时,一些[10]、[16]研究侧重于提供独立于输入的解释,例如研究能够最大化某类预测得分的输入模式。进一步探究隐藏神经元的含义,理解[17]、[22]的整个预测过程。近年来对[23]、[24]、[25]、[26]等方法进行了较为系统的评价和分类。然而,这些研究只关注图像和文本域的解释方法,忽略了深度图模型的可解释性。

近年来,图神经网络(Graph Neural network, GNN)越来越受欢迎,因为许多真实世界的数据都以图形的形式表示,如社交网络、化学分子和金融数据。其中,节点分类[27]、[28]、[29]、图分类[6]、[30]、链路预测[31]、[32]、[33]等与图相关的任务得到了广泛的研究。此外,许多高级的GNN操作被提出来提高性能,包括图卷积[5],[34],[35],图注意力[36],[37],图池化[38],[39],[40]。然而,与图像和文本领域相比,图模型的可解释性研究较少,这是理解深度图神经网络的关键。近年来,人们提出了几种解释GNN预测的方法,如XGNN[41]、GNNExplainer [42]、PGExplainer[43]等。这些方法是从不同的角度发展起来的,提供了不同层次的解释。此外,它仍然缺乏标准的数据集和度量来评估解释结果。因此,需要对GNN解释技术的方法和评价进行系统的综述。

为此,本研究提供了对不同GNN解释技术的系统研究。我们的目的是提供对不同方法的直观理解和高层次的洞察,让研究者选择合适的探索方向。这项工作的贡献总结如下:

本综述提供了对深度图模型的现有解释技术的系统和全面的回顾。据我们所知,这是第一次也是唯一一次关于这一主题的综述工作。

我们对现有的GNN解释技术提出了一个新的分类方法。我们总结了每个类别的关键思想,并提供了深刻的分析。

我们详细介绍了每种GNN解释方法,包括其方法论、优缺点以及与其他方法的区别。

我们总结了常用的GNN解释任务的数据集和评估指标。我们讨论了它们的局限性,并推荐了几个令人信服的度量标准。

通过将句子转换为图表,我们从文本领域构建了三个人类可理解的数据集。这些数据集不久将向公众开放,并可直接用于GNN解释任务。

GNN解释性分类法

近年来,人们提出了几种解释深图模型预测的方法。这些方法关注于图模型的不同方面,并提供不同的视图来理解这些模型。他们通常会回答几个问题;其中一些是,哪个输入边更重要?哪个输入节点更重要?哪个节点特性更重要?什么样的图形模式将最大化某个类的预测?为了更好地理解这些方法,我们为GNN提供了不同解释技术的分类。我们分类法的结构如图1所示。根据提供的解释类型,不同的技术分为两大类:实例级方法和模型级方法。

首先,实例级方法为每个输入图提供依赖于输入的解释。给出一个输入图,这些方法通过识别用于预测的重要输入特征来解释深度模型。根据获得的重要度分数,我们将方法分为4个不同的分支:基于梯度/特征的方法[53]1,[50],基于微扰的方法[42],[53]0,[53]3,[52],[53],分解方法[53]2,[50],[54],[55],以及代理方法[56],[57],[58]。具体来说,基于梯度/特征的方法使用梯度或特征值来表示不同输入特征的重要性。此外,基于扰动的方法监测预测的变化与不同的输入扰动,以研究输入的重要性得分。分解方法首先将预测得分(如预测概率)分解到最后一隐藏层的神经元中。然后逐层反向传播这些分数,直到输入空间,并使用这些分解后的分数作为重要分数。与此同时,对于给定的输入示例,基于代理的方法首先从给定示例的邻居中采样数据集。接下来,这些方法拟合一个简单的和可解释的模型,如决策树,以采样数据集。然后使用代理模型的解释来解释最初的预测。第二,模型级方法不考虑任何特定的输入实例来解释图神经网络。独立于输入的解释是高层次的,解释一般行为。与instance level方法相比,这个方向的研究仍然较少。现有的模型级方法只有基于图生成的XGNN[41]。它生成图形模式来最大化某个类的预测概率,并使用这些图形模式来解释该类。

总之,这两类方法从不同的角度解释了深度图模型。实例级方法提供了特定于示例的解释,而模型级方法提供了高层次的见解和对深度图模型如何工作的一般理解。要验证和信任深度图模型,需要人工监督检查解释。对于实例级方法,需要更多的人工监督,因为专家需要探索不同输入图的解释。对于模型级方法,由于解释是高层次的,因此涉及的人力监督较少。此外,实例级方法的解释基于真实的输入实例,因此它们很容易理解。然而,对模型级方法的解释可能不是人类能够理解的,因为获得的图形模式甚至可能不存在于现实世界中。总之,这两种方法可以结合起来更好地理解深度图模型,因此有必要对两者进行研究。

成为VIP会员查看完整内容
0
46

科学事业的核心是理性地努力去理解我们所观察到的现象背后的原因。快速增加的观测和模拟数据打开了新的数据驱动的因果方法的使用,超越了通常采用的相关技术。在这里,我们给出了一个因果推理框架的概述。

https://www.bradyneal.com/causal-inference-course

成为VIP会员查看完整内容
1
36

机器学习领域最大的两个难题是:为什么它会如此成功?为什么它会如此脆弱?

这个讲座将提供一个框架,从高维函数近似的角度来解开这些难题。我们将讨论关于假设空间的神经网络类型的近似泛化特性已知的和未知的,以及训练过程的动力学和泛化特性。我们还将讨论浅神经网络模型和深神经网络模型的相对优点,并提出建立更鲁棒的机器学习模型的方法。

成为VIP会员查看完整内容
1
32

EMNLP(Conference on Empirical Methods in Natural Language Processing)是计算语言学和自然语言处理领域的顶级国际会议,由ACL旗下SIGDAT组织,每年举办一次,Google Scholar计算语言学刊物指标中排名第二,是CCF-B类推荐会议。今年EMNLP 2020将于2020年11月16日至20日以在线会议的形式举办。本篇为大家带来EMNLP2020在线Tutorial《Interpreting Predictions of NLP Models》教程,系统性讲解了自然语言处理模型可解释性预测,不可错过!

虽然神经NLP模型具有高度的表示学习能力和良好性能,但它们也会以违反直觉的方式系统性失败,并且在决策过程中不透明。本教程将提供可解释技术的背景知识,即可解释NLP模型预测的方法。我们将首先将具体实例的解释置于理解模型的其他方法的上下文中(例如,探测,数据集分析)。接下来,我们将全面研究具体例子的解释,包括显著性映射、输入扰动(例如LIME、输入减少)、对抗性攻击和影响函数。除了这些描述之外,我们还将介绍为各种NLP任务创建和可视化解释的源代码。最后,我们将讨论该领域的开放问题,如评价、扩展和改进解释方法。

https://github.com/Eric-Wallace/interpretability-tutorial-emnlp2020/

成为VIP会员查看完整内容
0
34

可解释的机器学习模型和算法是越来越受到研究、应用和管理人员关注的重要课题。许多先进的深度神经网络(DNNs)经常被认为是黑盒。研究人员希望能够解释DNN已经学到的东西,以便识别偏差和失败模型,并改进模型。在本教程中,我们将全面介绍分析深度神经网络的方法,并深入了解这些XAI方法如何帮助我们理解时间序列数据。

http://xai.kaist.ac.kr/Tutorial/2020/

成为VIP会员查看完整内容
0
133
小贴士
相关VIP内容
专知会员服务
25+阅读 · 6月7日
专知会员服务
24+阅读 · 5月30日
专知会员服务
36+阅读 · 1月6日
专知会员服务
134+阅读 · 2020年11月24日
专知会员服务
34+阅读 · 2020年11月19日
专知会员服务
25+阅读 · 2020年10月26日
专知会员服务
133+阅读 · 2020年8月26日
相关论文
C. -H. Huck Yang,Mohit Chhabra,Y. -C. Liu,Quan Kong,Tomoaki Yoshinaga,Tomokazu Murakami
0+阅读 · 6月15日
Jianning Wu,Zhuqing Jiang,Shiping Wen,Aidong Men,Haiying Wang
0+阅读 · 5月30日
Self-supervised pre-training and contrastive representation learning for multiple-choice video QA
Seonhoon Kim,Seohyeong Jeong,Eunbyul Kim,Inho Kang,Nojun Kwak
4+阅读 · 2020年12月14日
Xiang Gao,Sungjin Lee,Yizhe Zhang,Chris Brockett,Michel Galley,Jianfeng Gao,Bill Dolan
4+阅读 · 2019年2月28日
AJ Piergiovanni,Michael S. Ryoo
5+阅读 · 2018年4月9日
Jeremie Houssineau,Ajay Jasra,Sumeetpal S. Singh
3+阅读 · 2018年3月26日
Seil Na,Sangho Lee,Jisung Kim,Gunhee Kim
5+阅读 · 2018年3月16日
Abhinav Moudgil,Vineet Gandhi
7+阅读 · 2017年12月28日
Rohit Girdhar,Georgia Gkioxari,Lorenzo Torresani,Manohar Paluri,Du Tran
7+阅读 · 2017年12月26日
Top