知识是理解世界的一种正式方式,为下一代人工智能(AI)提供人类水平的认知和智能。知识的表现形式之一是实体之间的结构关系。关系抽取(RE)是信息抽取的一个子任务,是自动获取这些重要知识的有效方法,在自然语言处理(NLP)中起着至关重要的作用。其目的是从自然语言文本中识别实体之间的语义关系。到目前为止,已有一些关于RE的研究,其中基于深度神经网络(DNNs)的技术已成为该研究的主流技术。其中,基于DNNs的监督式和远程监督是目前最流行、最可靠的两种关系提取方法。本文首先介绍了一些一般概念,然后从两个方面对关系提取中的DNNs进行了全面的概述:一是对标准关系提取系统进行改进的监督式,二是采用DNNs设计句子编码器和去噪方法的远程监督式。在此基础上,我们进一步介绍了一些新的研究方法,描述了一些最新的研究趋势,并讨论了未来可能的研究方向。

https://www.zhuanzhi.ai/paper/bce5fadda556d0501fd5b47127fc6c91

成为VIP会员查看完整内容
0
35

相关内容

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

摘要

深度半监督学习是一个快速发展的领域,具有一系列的实际应用。

本文从模型设计和无监督损失函数的角度对深度半监督学习方法的基本原理和最新进展进行了全面的综述。

我们首先提出了一种深度半监督学习分类法,该分类法对现有方法进行分类,包括深度生成方法、一致性正则化方法、基于图的方法、伪标记方法和混合方法。然后,我们根据损失类型、贡献和架构差异对这些方法进行了详细的比较。

在总结近年来研究进展的基础上,进一步探讨了现有方法的不足之处,并提出了一些探索性的解决方案。

https://arxiv.org/pdf/2103.00550.pdf

引言

深度学习一直是一个活跃的研究领域,在模式识别[1]、[2]、数据挖掘[3]、统计学习[4]、计算机视觉[5]、[6]、自然语言处理[7]、[8]等领域有着丰富的应用。它利用了大量高质量的标记数据,在[9]、[10]的理论和实践中都取得了巨大的成功,特别是在监督学习场景中。然而,标签样品通常是困难的,昂贵的,或耗时获得。标记过程通常需要专家的努力,这是训练一个优秀的全监督深度神经网络的主要限制之一。例如,在医疗任务中,测量是用昂贵的机器进行的,标签是由多个人类专家耗时分析得出的。如果只有少数标记的样本可用,建立一个成功的学习系统是具有挑战性的。相比之下,未标记的数据通常是丰富的,可以很容易地或廉价地获得。因此,它是可取的利用大量的未标记的数据,以改善学习性能给定的少量标记样本。因此,半监督学习(semi-supervised learning, SSL)一直是近十年来机器学习领域的研究热点。

SSL是一种学习范式,它与构建使用标记数据和未标记数据的模型有关。与只使用标记数据的监督学习算法相比,SSL方法可以通过使用额外的未标记实例来提高学习性能。通过对监督学习算法和非监督学习算法的扩展,可以很容易地获得SSL算法。SSL算法提供了一种从未标记的示例中探索潜在模式的方法,减轻了对大量标记[13]的需求。根据系统的关键目标函数,可以有半监督分类、半监督聚类或半监督回归。我们提供的定义如下:

  • 半监督分类。给定一个包含有标记的实例和无标记的实例的训练数据集,半监督分类的目标是同时从有标记的和无标记的数据训练分类器,这样它比只在有标记的数据上训练的有监督分类器更好。

  • 半监督聚类。假设训练数据集由未标记的实例和一些关于聚类的监督信息组成,半监督聚类的目标是获得比单独从无标记数据聚类更好的聚类。半监督聚类也称为约束聚类。

  • 半监督回归。给定一个包含有标记的实例和没有标记的实例的训练数据集,半监督回归的目标是从一个单独带有标记数据的回归算法改进回归算法的性能,该回归算法预测一个实值输出,而不是一个类标签。

为了更清楚、更具体地解释SSL,我们重点研究了图像分类问题。本调查中描述的思想可以毫无困难地适应其他情况,如对象检测,语义分割,聚类,或回归。因此,在本研究中,我们主要回顾了利用未标记数据进行图像分类的方法。

SSL方法有很多种,包括生成模型[14],[15],半监督支持向量机[16],[17],基于图的方法[18],[19],[20],[21]和联合训练[22]。我们向感兴趣的读者推荐[12]、[23],它们提供了传统SSL方法的全面概述。目前,深度神经网络已经在许多研究领域占据主导地位。重要的是要采用经典的SSL框架,并为深度学习设置开发新的SSL方法,这将导致深度半监督学习(DSSL)。DSSL研究了如何通过深度神经网络有效地利用标记数据和未标记数据。已经提出了相当多的DSSL方法。根据半监督损失函数和模型设计最显著的特征,我们将DSSL分为五类,即生成法、一致性正则化法、基于图的方法、伪标记方法和混合方法。本文献使用的总体分类法如图1所示。

在[12],[23]中有很多具有代表性的作品,但是一些新兴的技术并没有被纳入其中,尤其是在深度学习取得巨大成功之后。例如,深度半监督方法提出了新的技术,如使用对抗训练生成新的训练数据。另外,[13]侧重于统一SSL的评价指标,[24]只回顾了SSL的一部分,没有对SSL进行全面的概述。最近,Ouali等人的综述[25]给出了与我们类似的DSSL概念。然而,它不能与现有的方法相比,基于它们的分类,并提供了未来的趋势和存在的问题的观点。在前人研究的基础上,结合最新的研究,我们将对基础理论进行综述,并对深度半监督方法进行比较。总结一下,我们的贡献如下:

我们对DSSL方法进行了详细的回顾,并介绍了主要DSSL方法的分类、背景知识和变体模型。人们可以很快地掌握DSSL的前沿思想。

我们将DSSL方法分为生成方法、一致性正则化方法、基于图形的方法、伪标记方法和混合方法,每一种方法都有特定的类型。我们回顾了每一类的变体,并给出了标准化的描述和统一的示意图。

我们确定了该领域的几个开放问题,并讨论了DSSL的未来方向。

成为VIP会员查看完整内容
0
54

序列标记是一个基础性研究问题,涉及词性标记、命名实体识别、文本分块等多种任务。尽管在许多下游应用(如信息检索、问题回答和知识图谱嵌入)中普遍和有效,传统的序列标记方法严重依赖于手工制作或特定语言的特征。最近,深度学习已经被用于序列标记任务,因为它在自动学习实例的复杂特征和有效地产生艺术表现的强大能力。在本文中,我们旨在全面回顾现有的基于深度学习的序列标记模型,这些模型包括三个相关的任务,如词性标记、命名实体识别和文本组块。然后,在科学分类的基础上,结合SL领域中广泛使用的实验数据集和常用的评价指标,系统地介绍了现有的方法。此外,我们还对不同的SL模型进行了深入分析,分析了可能影响SL领域性能和未来发展方向的因素。

https://arxiv.org/abs/2011.06727

序列标记是自然语言处理(NLP)中重要的一种模式识别任务。从语言学的角度来看,语言中最小的意义单位通常被认为是语素,因此每句话都可以看作是语素构成的序列。相应的,NLP领域中的序列标记问题可以将其表述为一种任务,目的是为一类在句子语法结构中通常具有相似角色和相似语法属性的语素分配标签,所分配标签的意义通常取决于特定任务的类型,经典任务的例子有词性标注[71]、命名实体识别(NER)[52]、文本分块[65]等,在自然语言理解中起着至关重要的作用,有利于各种下游应用,如句法解析[81]、关系提取[64]和实体共指解析[78]等,并因此迅速得到广泛关注。

通常,传统的序列标记方法通常基于经典的机器学习技术,如隐马尔科夫模型(HMM)[3]和条件随机字段(CRFs)[51],这些技术通常严重依赖于手工制作的特征(如一个单词是否大写)或特定于语言的资源(如地名词典)。尽管实现了卓越的性能,但对大量领域知识的需求和对特征工程的努力使得它们极难扩展到新的领域。在过去的十年中,深度学习(DL)由于其在自动学习复杂数据特征方面的强大能力而取得了巨大的成功。因此,对于如何利用深度神经网络的表示学习能力来增强序列标记任务的研究已经有了很多,其中很多方法已经陆续取得了[8],[1],[19]的先进性能。这一趋势促使我们对深度学习技术在序列标记领域的现状进行了全面的综述。通过比较不同深度学习架构的选择,我们的目标是识别对模型性能的影响,以便后续研究人员更好地了解这些模型的优缺点。

本综述的目的是全面回顾深度学习在序列标记(SL)领域的最新应用技术,并提供一个全景,以启发和指导SL研究社区的研究人员和从业者快速理解和进入该领域。具体来说,我们对基于深度学习的SL技术进行了全面的调研,并按照嵌入模块、上下文编码器模块和推理模块三个轴进行了科学的分类,系统地总结了目前的研究现状。此外,我们还概述了序列标记领域中常用任务的实验设置(即数据集或评价指标)。此外,我们讨论和比较了最具代表性的模型给出的结果,以分析不同因素和建筑的影响。最后,我们向读者展示了当前基于dll的序列标记方法所面临的挑战和开放问题,并概述了该领域的未来发展方向。

本综述旨在全面回顾深度学习技术在序列标注中的应用,并提供一个全景视图,以便读者对这一领域有一个全面的了解。我们以科学的分类学对文献进行了总结。此外,我们提供了一般研究的序列标记问题的数据集和评价指标的概述。此外,我们还讨论和比较了不同模型的结果,并分析了影响性能的因素和不同架构。最后,我们向读者展示了当前方法面临的挑战和开放问题,并确定了该领域的未来方向。我们希望这项调查能对序列标记感兴趣的研究者、从业者和教育者有所启发和指导。

成为VIP会员查看完整内容
0
28

自监督学习由于能够避免标注大规模数据集的成本而受到欢迎。它能够采用自定义的伪标签作为监督,并将学习到的表示用于几个下游任务。具体来说,对比学习最近已成为计算机视觉、自然语言处理(NLP)等领域的自主监督学习方法的主要组成部分。它的目的是将同一个样本的增广版本嵌入到一起,同时试图将不同样本中的嵌入推开。这篇论文提供了一个广泛的自我监督的方法综述,遵循对比的方法。本研究解释了在对比学习设置中常用的借口任务,以及到目前为止提出的不同架构。接下来,我们将对图像分类、目标检测和动作识别等多个下游任务的不同方法进行性能比较。最后,我们总结了目前方法的局限性和需要进一步的技术和未来方向取得实质性进展。

https://arxiv.org/abs/2011.00362

概述:

随着深度学习技术的发展,它已成为目前大多数智能系统的核心组件之一。深度神经网络(DNNs)能够从现有的大量数据中学习丰富的模式,这使得它在大多数计算机视觉(CV)任务(如图像分类、目标检测、图像分割、动作识别)以及自然语言处理(NLP)任务(如句子分类、语言模型、机器翻译等)中成为一种引人注目的方法。然而,由于手工标注数百万个数据样本的工作量很大,从标记数据中学习特征的监督方法已经几乎达到了饱和。这是因为大多数现代计算机视觉系统(受监督的)都试图通过查找大型数据集中数据点及其各自注释之间的模式来学习某种形式的图像表示。像GRAD-CAM[1]这样的工作提出了一种技术,可以为模型所做的决策提供可视化的解释,从而使决策更加透明和可解释。

传统的监督学习方法很大程度上依赖于可用的带注释的训练数据的数量。尽管有大量的可用数据,但缺乏注解促使研究人员寻找替代方法来利用它们。这就是自监督方法在推动深度学习的进程中发挥重要作用的地方,它不需要昂贵的标注,也不需要学习数据本身提供监督的特征表示。

监督学习不仅依赖昂贵的注释,而且还会遇到泛化错误、虚假的相关性和对抗攻击[2]等问题。最近,自监督学习方法集成了生成和对比方法,这些方法能够利用未标记的数据来学习潜在的表示。一种流行的方法是提出各种各样的代理任务,利用伪标签来帮助学习特征。诸如图像inpainting、灰度图像着色、拼图游戏、超分辨率、视频帧预测、视听对应等任务已被证明是学习良好表示的有效方法。

生成式模型在2014年引入生成对抗网络(GANs)[3]后得到普及。这项工作后来成为许多成功架构的基础,如CycleGAN[4]、StyleGAN[5]、PixelRNN[6]、Text2Image[7]、DiscoGAN [8]等。这些方法激发了更多的研究人员转向使用无标签数据在自监督的设置下训练深度学习模型。尽管取得了成功,研究人员开始意识到基于GAN的方法的一些并发症。它们很难训练,主要有两个原因: (a)不收敛——模型参数发散很多,很少收敛; (b)鉴别器太过成功,导致生成网络无法产生类似真实的假信号,导致学习无法继续。此外,生成器和判别器之间需要适当的同步,以防止判别器收敛和生成器发散。

成为VIP会员查看完整内容
0
45

当前自然语言处理的发展为低资源语言和领域提供了挑战和机遇。众所周知,深度神经网络需要大量的训练数据,而这些数据在资源贫乏的情况下可能无法得到。然而,也有越来越多的工作来提高低资源环境下的性能。基于对神经模型的基本改变和目前流行的预训练和微调范式,我们概述了低资源自然语言处理的有前途的方法。在讨论了低资源场景的定义和数据可用性的不同维度之后,我们接着研究了在训练数据稀少时支持学习的方法。这包括创建附加标签数据的机制,如数据增强和远程监督,以及转移学习设置,以减少对目标监督的需要。调查结束时,简要地看了一下在非NLP机器学习社区中建议的方法,这些方法在资源少的情况下可能对NLP有益。

https://arxiv.org/abs/2010.12309

成为VIP会员查看完整内容
0
40

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
113

现实网络由多种相互作用、不断进化的实体组成,而现有的研究大多将其简单地描述为特定的静态网络,而没有考虑动态网络的演化趋势。近年来,动态网络的特性跟踪研究取得了重大进展,利用网络中实体和链接的变化来设计网络嵌入技术。与被广泛提出的静态网络嵌入方法相比,动态网络嵌入努力将节点编码为低维密集表示,有效地保持了网络结构和时间动态,有利于处理各种下游机器学习任务。本文对动态网络嵌入问题进行了系统的研究,重点介绍了动态网络嵌入的基本概念,首次对现有的动态网络嵌入技术进行了分类,包括基于矩阵分解的、基于跃格的、基于自动编码器的、基于神经网络的等嵌入方法。此外,我们仔细总结了常用的数据集和各种各样的后续任务,动态网络嵌入可以受益。在此基础上,提出了动态嵌入模型、大规模动态网络、异构动态网络、动态属性网络、面向任务的动态网络嵌入以及更多的嵌入空间等现有算法面临的挑战,并提出了未来可能的研究方向。

成为VIP会员查看完整内容
0
101

最近深度神经网络已经在监督识别任务上取得了令人振奋的突破,但是深度神经网络要求每个类都有足够 多的且完全标注的训练数据。如何从少数训练样本中学习并识别新的类别,对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法 所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为四种 类别,即数据增强方法、迁移学习方法、度量学习方法和元学习的方法;对于每个类别,进一步将其分为几个子类 别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后,强调了现有方法的局限性,并指出了少样本学习研究领域的未来研究方向。

成为VIP会员查看完整内容
0
117

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
152
小贴士
相关VIP内容
专知会员服务
45+阅读 · 2020年11月5日
专知会员服务
45+阅读 · 2020年10月29日
专知会员服务
40+阅读 · 2020年10月27日
专知会员服务
113+阅读 · 2020年9月7日
专知会员服务
101+阅读 · 2020年6月17日
专知会员服务
117+阅读 · 2020年4月22日
专知会员服务
152+阅读 · 2020年3月6日
相关论文
Matthew J. Vowels,Necati Cihan Camgoz,Richard Bowden
0+阅读 · 3月3日
Kai Han,Yunhe Wang,Hanting Chen,Xinghao Chen,Jianyuan Guo,Zhenhua Liu,Yehui Tang,An Xiao,Chunjing Xu,Yixing Xu,Zhaohui Yang,Yiman Zhang,Dacheng Tao
13+阅读 · 2020年12月23日
Ruibin Xiong,Yunchang Yang,Di He,Kai Zheng,Shuxin Zheng,Chen Xing,Huishuai Zhang,Yanyan Lan,Liwei Wang,Tie-Yan Liu
4+阅读 · 2020年2月12日
Wen Zhang,Bibek Paudel,Wei Zhang,Abraham Bernstein,Huajun Chen
6+阅读 · 2019年3月12日
Joaquin Vanschoren
116+阅读 · 2018年10月8日
Stephen Bonner,Flavian Vasile
19+阅读 · 2018年8月3日
Agustinus Kristiadi,Mohammad Asif Khan,Denis Lukovnikov,Jens Lehmann,Asja Fischer
7+阅读 · 2018年5月25日
Hongzhi Zhang,Guandong Xu,Xiao Liang,Tinglei Huang,Kun fu
6+阅读 · 2018年1月30日
Yi Tay,Anh Tuan Luu,Siu Cheung Hui
5+阅读 · 2018年1月7日
Top