自然语言处理常识推理综述论文,60页pdf

2019 年 4 月 4 日 专知
自然语言处理常识推理综述论文,60页pdf

【导读】常识推理是机器智能的关键任务,也是非常具有挑战性的研究问题。密歇根州立大学的Shane Storks等学者最近在Arxiv上发布了一篇关于常识推理的综述论文《Commonsense Reasoning for Natural Language Understanding: A Survey of Benchmarks, Resources, and Approaches》,详细阐述了常识推理的任务、数据、资源、推断方法,是很好的参考文章。



自然语言处理常识推理


摘要

常识知识和常识推理是机器智能的主要瓶颈。在NLP社区中,已经创建了许多基准数据集和任务来处理用于语言理解的常识性推理。这些任务旨在评估机器获取和学习常识的能力,以便推理和理解自然语言文本。随着这些任务成为常识性研究的工具和驱动力,本文旨在概述现有的任务和基准、知识资源以及用于自然语言理解的常识性推理的学习和推理方法。通过这一点,我们的目标是支持更好地理解这种技术的现状、局限性和未来的挑战。                                                  


引言

常识和常识推理在机器智能的各个方面,从语言理解到计算机视觉和机器人技术,都发挥着至关重要的作用。Davis和Marcus(2015)对常识性推理的挑战进行了详细的描述,从理解和构建特定或一般领域的常识性知识的困难,到各种形式推理的复杂性及其对问题解决的集成。正如戴维斯和马库斯(2015)所指出的那样, 常识推理是一个需要可以集成不同模式的推理的方法(例如,符号通过演绎推理和统计推理基于大量的数据),以及标准和评价指标。


图1. NLP社区在常识性知识和推理方面的主要研究工作发生在三个领域:基准和任务、知识资源以及学习和推理方法。

图2. 自本世纪初以来,针对语言理解的常识性推理的基准测试任务激增。2018年,我们见证了比以往任何时候都要多的大型基准数据集的诞生。

图3. 用于创建、注释(即),并验证选定的常识性基准测试和任务,其中M表示专家手动方法,A表示通过语言生成的自动方法,T表示文本挖掘,C表示众包。数据大小包括比较使用的方法

图4. 用于基于语言的常识性任务的神经方法中的常见组件。


图5. 各方法在数据集上的精确匹配精度进行比较,这是本文中为每个基准、ELMO、GPT、BERT、BIGBIRD和人类提供的最佳性能基准。ELMO指的是使用ELMO嵌入的性能最高的列表方法。以粗体显示每个基准测试上的最佳系统性能。


更多请阅读论文查看:

http://www.zhuanzhi.ai/paper/71efadd1daed14fc906bbbff8f49a1f1

【论文便捷下载】

请关注专知公众号(点击上方蓝色专知关注

  • 后台回复“CRNLP” 就可以获取《自然语言处理常识推理综述论文》的下载链接~ 


-END-

专 · 知

专知《深度学习:算法到实战》课程全部完成!520+位同学在学习,现在报名,限时优惠!网易云课堂人工智能畅销榜首位!

欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程视频资料和与专家交流咨询!

请加专知小助手微信(扫一扫如下二维码添加),加入专知人工智能主题群,咨询《深度学习:算法到实战》课程,咨询技术商务合作~

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料!

点击“阅读原文”,了解报名专知《深度学习:算法到实战》课程

登录查看更多
44

相关内容

现实网络由多种相互作用、不断进化的实体组成,而现有的研究大多将其简单地描述为特定的静态网络,而没有考虑动态网络的演化趋势。近年来,动态网络的特性跟踪研究取得了重大进展,利用网络中实体和链接的变化来设计网络嵌入技术。与被广泛提出的静态网络嵌入方法相比,动态网络嵌入努力将节点编码为低维密集表示,有效地保持了网络结构和时间动态,有利于处理各种下游机器学习任务。本文对动态网络嵌入问题进行了系统的研究,重点介绍了动态网络嵌入的基本概念,首次对现有的动态网络嵌入技术进行了分类,包括基于矩阵分解的、基于跃格的、基于自动编码器的、基于神经网络的等嵌入方法。此外,我们仔细总结了常用的数据集和各种各样的后续任务,动态网络嵌入可以受益。在此基础上,提出了动态嵌入模型、大规模动态网络、异构动态网络、动态属性网络、面向任务的动态网络嵌入以及更多的嵌入空间等现有算法面临的挑战,并提出了未来可能的研究方向。

成为VIP会员查看完整内容
0
101

【导读】知识蒸馏是一种典型的模型压缩和加速方法,在很多应用场景对此有需求。来自悉尼大学的学者发布了《知识蒸馏》的综述论文,值的关注。

https://arxiv.org/abs/2006.05525

近年来,深度神经网络在工业和学术界取得了巨大的成功,特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功,主要归功于其巨大的可扩展性,既有大规模的数据样本,也有数十亿的模型参数。然而,在资源有限的设备如移动电话和嵌入式设备上部署这些笨重的深模型也带来了巨大的挑战,不仅因为计算量大,而且存储空间大。为此,开发了各种模型压缩和加速技术,如剪枝、量化和神经结构搜索。知识蒸馏是一种典型的模型压缩和加速方法,旨在从大教师模型中学习小学生模型,越来越受到社会的关注。本文从知识分类、训练方案、知识提取算法以及应用等方面对知识提取进行了综述。此外,我们简要回顾了知识提炼的挑战,并对未来的研究课题提供了一些见解。

概述

在过去的几年里,深度学习在人工智能领域取得了巨大的成功,包括计算机视觉(Krizhevsky et al., 2012)、强化学习(Silver et al., 2016)和神经语言处理(Devlin et al., 2018)的各种应用。借助最近许多技术,包括残差连接(He et al., 2016)和批处理归一化(Ioffe and Szegedy, 2015),我们可以轻松地在强大的GPU或TPU集群上训练具有数千层的深度模型。例如,只需不到10分钟就可以在数百万张图像的数据集上训练ResNet模型(Deng et al. , 2009 ; Sun et al. , 2019); 训练一个强大的BERT模型进行语言理解只需要不到一个半小时 (Devlin et al., 2018; You et al., 2019).。虽然大规模的深度模型带来了令人难以置信的性能,但其庞大的计算复杂度和海量的存储需求给实时应用的部署带来了巨大的挑战,特别是对于那些资源有限的设备,比如嵌入式人脸识别系统和自动驾驶汽车。

为了开发高效的深度模型,最近的工作通常集中在1)基于深度可分离卷积的高效基本块,如MobileNets (Howard et al. , 2017 ; Sandler et al. , 2018) 和ShuffleNets (Zhang et al. , 2018a ; Ma et al. , 2018); (2)模型压缩和加速技术,主要包括以下类别(Cheng et al., 2018)。

  • 参数修剪和共享: 这些方法主要是去除深层神经网络中不重要的参数,去除的参数对性能影响不大。该类别又分为模型量化(Wu et al., 2016)和二值化(Courbariaux et al., 2015)、参数共享(Han et al., 2015)和结构矩阵(Sindhwani et al., 2015)。

  • 低秩分解: 这些方法通过矩阵/张量分解来探索深度神经网络参数的冗余性(Denton et al., 2014)。

  • 传输/压缩卷积滤波器: 这些方法通过传输/压缩卷积滤波器来减少不必要的参数(Zhai et al., 2016)。

  • 知识蒸馏(KD): 这些方法通常将知识从一个较大的深度神经网络提取到一个较小的网络中(Hinton et al., 2015)。

对模型压缩和加速的全面回顾超出了本文涵盖的范围,而我们关注的是知识蒸馏,这已经得到越来越多的研究社区关注。在实践中,大型深度模型往往会取得非常好的性能,因为过参数化提高了泛化性能 (Brutzkus and Globerson, 2019; Allen-Zhu et al., 2019; Arora et al., 2018)。知识蒸馏通过在大教师模型的监督下学习小学生模型,从而探究深度模型中参数的冗余性,用于推理(Bucilua et al., 2006; Ba and Caruana, 2014; Hinton et al., 2015; Urban et al., 2016),而知识蒸馏的关键问题是如何将知识从大教师模型转移到小学生模型。一般情况下,知识蒸馏的师生框架如图1所示。虽然在实践中取得了巨大的成功,但在理论或经验上理解知识提炼方法的工作并不多(Cheng et al., 2020; Phuong and Lampert, 2019; Cho and Hariharan, 2019)。具体来说,为了理解知识蒸馏的工作机制,Phuong和Lampert在深度线性分类器的情况下,从理论上证明了学习精馏学生网络快速收敛的泛化边界(Phuong和Lampert, 2019)。这一解释理论上回答了学生学习的内容和速度,并揭示了决定蒸馏成功的因素。蒸馏的成功依赖于数据几何、蒸馏目标的优化偏差和学生分类器的强单调性。Cheng等人量化了来自深度神经网络中间层的视觉概念知识,以解释知识蒸馏(Cheng et al., 2020)。Cho和Hariharan对知识蒸馏的有效性进行了详细的实证分析(Cho和Hariharan, 2019)。实证分析发现,由于模型容量的差距,较大的模型不一定是更好的老师(Mirzadeh et al., 2019),而精馏会对学生的学习产生不利影响。据我们所知,(Cho and Hariharan, 2019)忽略了对教师和学生之间不同知识、不同蒸馏和相互感情的经验评价。此外,通过实证分析,从标签平滑、教师和先验对最优输出层几何形状的预测置信度等角度探讨了对知识蒸馏的理解(Tang et al., 2020)。

模型压缩的知识蒸馏思想与人类的学习方案非常相似。为此,近年来的知识蒸馏方法不仅扩展到了师生学习(Hinton et al., 2015),还扩展到了相互学习(Zhang et al., 2018b)、自学(Yuan et al., 2019)、辅助教学(Mirzadeh et al., 2019)和终身学习(Zhai et al., 2019)。知识蒸馏的大部分扩展集中于压缩深度神经网络,因此轻量级的学生网络可以很容易地部署在诸如视觉识别、语音识别和自然语言处理(NLP)等应用程序中。此外,知识蒸馏中从一个模型到另一个模型的知识转移符号也可以扩展到其他任务,如对抗攻击(Papernot et al., 2016b)、数据增强(Lee et al., 2019a;Gordon和Duh, 2019),数据隐私和安全(Wang等,2019a)。

本文对知识蒸馏的研究进行了综述。本综述的主要目的是1) 全面概述知识蒸馏,包括动机的背景,基本符号和公式,以及几种典型知识,蒸馏和算法; 2) 全面回顾知识蒸馏的最新进展,包括理论、应用和在不同现实场景下的扩展; 3) 从知识迁移的不同角度,包括不同类型的知识、训练方案、知识提炼算法/结构和应用,阐述知识蒸馏的一些挑战和见解。本文组织概况如图2所示。具体地说,本文的其余部分结构如下。第二节给出了知识蒸馏的重要概念和常规模型。知识和蒸馏的种类分别在第3节和第4节中进行了总结。现有的关于知识提炼中的师生结构的研究在第5部分进行了说明。第6节对许多最新的知识蒸馏方法进行了全面的总结和介绍。知识蒸馏的广泛应用将在第7节的不同方面加以说明。第8节讨论了知识蒸馏中具有挑战性的问题和未来的方向。最后,在第9节给出结论。

成为VIP会员查看完整内容
0
120

【简介】近些年来,可解释的人工智能受到了越来越多的关注。随着人工智能模型变得越来越复杂和不透明,可解释性变得越来越重要。最近,研究人员一直在以用户为中心研究和处理可解释性,寻找可信任、可理解、明确的来源和上下文感知的可解释性。在这篇论文中,我们通过调研人工智能和相关领域中有关可解释性的文献,并利用过去的相关研究生成了一系列的可解释类型。我们定义每种类型,并提供一个示例问题,来阐述对这种解释方式的需求。我们相信,这一系列的解释类型将有助于未来的系统设计人员获得可靠的需求和确定各种需求的优先级,并进一步帮助生成能够更好地符合用户和情景需求的解释。

介绍

人工智能(AI)领域已经从单纯的基于符号和逻辑的专家系统发展到使用统计和逻辑推理技术的混合系统。可解释性人工智能的进展与人工智能方法的发展紧密相关,例如我们在早期的论文“可解释的知识支持系统的基础”中所涉及的类别,涵盖了专家系统、语义web方法、认知助手和机器学习方法。我们注意到这些方法主要处理可解释性的特定方面。例如,由专家系统产生的解释主要用于提供推理所需的痕迹、来源和理由。这些由认知助理提供的模型能够调整它们的形式以适应用户的需求,并且在机器学习和专家系统领域,解释为模型的功能提供了一种“直觉”。

成为VIP会员查看完整内容
0
69

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
152

对于提取关键词的研究在十九世纪就已经开始了,但是基于encoder-decoder框架和sequence-to-squence序列学习的高级抽象方法,直到最近才被探索出来。事实上,在过去的三年内,学术界已经提出了十几种抽象的方法,能够生成有意义的关键词,并且效果良好。

介绍: 在这篇综述中,我们研究了提取关键词方法的各个方面,其中主要关注基于神经网络的较新的抽象方法。特别地,我们注意到这种机制能够驱动后者变得更加完善。本文还介绍了近二十年来各种关键词生成和文本摘要的研究模式和发展趋势。我们首先会回顾一下最流行的KE方法,特别是有监督的、基于图的和其他无监督的方法。接下来我们会描述目前流行的关键词数据集:OAGKX。这个数据集可以被用作数据源去训练可监督的KG方法或者从更加具体的学科去生成其他副产品。

抽取关键词生成模型:

1.可监督式模型

KEA算法(Keyphrase Extraction Algorithm)使用类似TF-IDF和first occurrence这样的特征,然后使用朴素贝叶斯分类器来判断候选短语是否是关键短语。而在多个方面继承KEA的Maui算法则是又前进了一步。它结合多种类型的特征,并利用维基百科的文章作为语言知识的来源。也有一些尝试是通过探索各种特征设置来改善现有的方法,例如有学者就通过调研n-grams,noun phrases,PoS tags等特征设置得出结论:与只使用n-gram相比,使用与POS tags模式匹配的单词或n-gram可以提高召回率。

2.基于图的方法

与无监督抽取KG方法相比,基于图的方法所需的计算资源是最多的。TextRank是一种基于图的排序方法,来源于PageRank算法。在上面的基础之上进化出了SingleRank和ExpandRank方法,从实验结果上看,在任何尺寸的邻域上,ExpandRank都要优于SinleRank。速度最快且可用的方法是RAKE,与TextRank相比,RAKE精确度更高,召回率更小。

3.其他方法

除了上面提到的两类之外,还有一些是无监督的且不基于图的方法。他们中的大多数利用聚类和各种相似性度量来寻找最佳关键字段。如经典的TF-IDF就是计算分数并且对整篇文档的文本短语进行排序。同时,TF-IDF也是在KG方法研究中最常用的baseline之一。

成为VIP会员查看完整内容
Keyphrase Generation A Multi-Aspect Survey.pdf
0
45

在过去的几年里,自然语言处理领域由于深度学习模型的大量使用而得到了发展。这份综述提供了一个NLP领域的简要介绍和一个快速的深度学习架构和方法的概述。然后,筛选了大量最近的研究论文,并总结了大量相关的贡献。NLP研究领域除了计算语言学的一些应用外,还包括几个核心的语言处理问题。然后讨论了目前的技术水平,并对该领域今后的研究提出了建议。

成为VIP会员查看完整内容
0
157
小贴士
相关VIP内容
专知会员服务
101+阅读 · 2020年6月17日
专知会员服务
120+阅读 · 2020年6月14日
专知会员服务
69+阅读 · 2020年3月19日
专知会员服务
152+阅读 · 2020年3月6日
【综述】关键词生成,附10页pdf论文下载
专知会员服务
45+阅读 · 2019年11月20日
深度学习自然语言处理综述,266篇参考文献
专知会员服务
157+阅读 · 2019年10月12日
[综述]基于深度学习的开放领域对话系统研究综述
专知会员服务
55+阅读 · 2019年10月12日
相关论文
Xipeng Qiu,Tianxiang Sun,Yige Xu,Yunfan Shao,Ning Dai,Xuanjing Huang
91+阅读 · 2020年3月18日
TinyBERT: Distilling BERT for Natural Language Understanding
Xiaoqi Jiao,Yichun Yin,Lifeng Shang,Xin Jiang,Xiao Chen,Linlin Li,Fang Wang,Qun Liu
8+阅读 · 2019年9月23日
Liang Yao,Chengsheng Mao,Yuan Luo
15+阅读 · 2019年9月7日
Zhuosheng Zhang,Yuwei Wu,Hai Zhao,Zuchao Li,Shuailiang Zhang,Xi Zhou,Xiang Zhou
3+阅读 · 2019年9月5日
KagNet: Knowledge-Aware Graph Networks for Commonsense Reasoning
Bill Yuchen Lin,Xinyue Chen,Jamin Chen,Xiang Ren
7+阅读 · 2019年9月4日
Self-Attention Graph Pooling
Junhyun Lee,Inyeop Lee,Jaewoo Kang
10+阅读 · 2019年6月13日
IRLAS: Inverse Reinforcement Learning for Architecture Search
Minghao Guo,Zhao Zhong,Wei Wu,Dahua Lin,Junjie Yan
4+阅读 · 2018年12月14日
ConceptNet 5.5: An Open Multilingual Graph of General Knowledge
Robyn Speer,Joshua Chin,Catherine Havasi
7+阅读 · 2018年12月11日
EARL: Joint Entity and Relation Linking for Question Answering over Knowledge Graphs
Mohnish Dubey,Debayan Banerjee,Debanjan Chaudhuri,Jens Lehmann
4+阅读 · 2018年6月25日
Top