监督学习在过去取得了巨大的成功,然而监督学习的研究进入了瓶颈期,因其依赖于昂贵的人工标签,却饱受泛化错误(generalization error)、伪相关(spurious correlations)和对抗攻击(adversarial attacks)的困扰。自监督学习以其良好的数据利用效率和泛化能力引起了人们的广泛关注。本文将全面研究最新的自监督学习模型的发展,并讨论其理论上的合理性,包括预训练语言模型(Pretrained Language Model,PTM)、生成对抗网络(GAN)、自动编码器及其拓展、最大化互信息(Deep Infomax,DIM)以及对比编码(Contrastive Coding)。自监督学习与无监督学习的区别主要在于,无监督学习专注于检测特定的数据模式,如聚类、社区发现或异常检测,而自监督学习的目标是恢复(recovering),仍处于监督学习的范式中。下图展示了两者之间的区别,自监督中的“related information” 可以来自其他模态、输入的其他部分以及输入的不同形式。

成为VIP会员查看完整内容
0
31

相关内容

自监督学习(self-supervised learning)可以被看作是机器学习的一种“理想状态”,模型直接从无标签数据中自行学习,无需标注数据。

在监督模式下训练的深度模型在各种任务上都取得了显著的成功。在标记样本有限的情况下,自监督学习(self-supervised learning, SSL)成为利用大量未标记样本的新范式。SSL在自然语言和图像学习任务中已经取得了很好的效果。最近,利用图神经网络(GNNs)将这种成功扩展到图数据的趋势。

在本综述论文中,我们提供了使用SSL训练GNN的不同方法的统一回顾。具体来说,我们将SSL方法分为对比模型和预测模型。

在这两类中,我们都为方法提供了一个统一的框架,以及这些方法在框架下的每个组件中的不同之处。我们对GNNs SSL方法的统一处理揭示了各种方法的异同,为开发新的方法和算法奠定了基础。我们还总结了不同的SSL设置和每个设置中使用的相应数据集。为了促进方法开发和实证比较,我们为GNNs中的SSL开发了一个标准化测试床,包括通用基线方法、数据集和评估指标的实现。

https://www.zhuanzhi.ai/paper/794d1d27363c4987efd37c67ec710a18

引言

深度模型以一些数据作为输入,并训练输出期望的预测。训练深度模型的一种常用方法是使用有监督的模式,在这种模式中有足够的输入数据和标签对。

然而,由于需要大量的标签,监督训练在许多现实场景中变得不适用,标签是昂贵的,有限的,甚至是不可用的。

在这种情况下,自监督学习(SSL)支持在未标记数据上训练深度模型,消除了对过多注释标签的需要。当没有标记数据可用时,SSL可以作为一种从未标记数据本身学习表示的方法。当可用的标记数据数量有限时,来自未标记数据的SSL可以用作预训练过程,在此过程之后,标记数据被用来为下游任务微调预训练的深度模型,或者作为辅助训练任务,有助于任务的执行。

最近,SSL在数据恢复任务中表现出了良好的性能,如图像超分辨率[1]、图像去噪[2,3,4]和单细胞分析[5]。它在语言序列[6,7,8]、图像[9,10,11,12]、带有序列模型的图[13,14]等不同数据类型的表示学习方面也取得了显著进展。这些方法的核心思想是定义前置训练任务,以捕获和利用输入数据的不同维度之间的依赖关系,如空间维度、时间维度或通道维度,具有鲁棒性和平滑性。Doersch等人以图像域为例,Noroozi和Favaro[16],以及[17]等人设计了不同的前置任务来训练卷积神经网络(CNNs)从一幅图像中捕捉不同作物之间的关系。Chen等人的[10]和Grill等人的[18]训练CNN捕捉图像的不同增强之间的依赖关系。

根据训练任务的设计,SSL方法可以分为两类;即对比模型和预测模型。这两个类别之间的主要区别是对比模型需要数据-数据对来进行训练,而预测模型需要数据-标签对,其中标签是自生成的,如图1所示。对比模型通常利用自监督来学习数据表示或对下游任务进行预训练。有了这些数据-数据对,对比模型就能区分出正面对和负面对。另一方面,预测模型是在监督的方式下训练的,其中标签是根据输入数据的某些属性或选择数据的某些部分生成的。预测模型通常由一个编码器和一个或多个预测头组成。当应用于表示学习或预训练方法时,预测模型的预测头在下游任务中被删除。

在图数据分析中,SSL可能非常重要,它可以利用大量未标记的图,如分子图[19,20]。随着图神经网络的快速发展[21,22,23,24,25,26,27],图神经网络的基本组成[28,29,30,31,32,33]等相关领域[34,35]得到了深入的研究,并取得了长足的进展。相比之下,在GNNs上应用SSL仍然是一个新兴领域。由于数据结构的相似性,很多GNN的SSL方法都受到了图像领域方法的启发,如DGI[36]和图自动编码器[37]。然而,由于图结构数据的唯一性,在GNN上应用SSL时存在几个关键的挑战。为了获得良好的图表示并进行有效的预训练,自监督模型可以从图的节点属性和结构拓扑中获取必要的信息。对于对比模型来说,由于自监督学习的GPU内存问题并不是图形的主要关注点,关键的挑战在于如何获得良好的图形视图以及针对不同模型和数据集的图形编码器的选择。对于预测模型,至关重要的是应该生成什么标签,以便了解非平凡的表示,以捕获节点属性和图结构中的信息。

为了促进方法论的发展和促进实证比较,我们回顾GNN的SSL方法,并为对比和预测方法提供了统一的观点。我们对这一问题的统一处理,可以揭示现有方法的异同,启发新的方法。我们还提供了一个标准化的测试,作为一个方便和灵活的开源平台,用于进行实证比较。我们将本次综述论文总结如下:

  • 我们提供关于图神经网络SSL方法的彻底和最新的回顾。据我们所知,我们的综述查首次回顾了关于图数据的SSL。

  • 我们将GNN现有的对比学习方法与一般框架统一起来。具体来说,我们从互信息的角度统一对比目标。从这个新的观点来看,不同的对比学习方式可以看作是进行三种转换来获得观点。我们回顾了理论和实证研究,并提供见解来指导框架中每个组成部分的选择。

  • 我们将SSL方法与自生成标签进行分类和统一,作为预测学习方法,并通过不同的标签获取方式来阐明它们之间的联系和区别。

  • 我们总结了常用的SSL任务设置以及不同设置下常用的各类数据集,为未来方法的发展奠定了基础。

  • 我们开发了一个用于在GNN上应用SSL的标准化测试平台,包括通用基准方法和基准的实现,为未来的方法提供了方便和灵活的定制。

成为VIP会员查看完整内容
0
26

近年来,在大量原始文本上预先训练的大型语言模型彻底改变了自然语言处理。现有的方法,基于因果或隐藏的语言模型的变化,现在为每一个NLP任务提供了事实上的方法。在这个演讲中,我将讨论最近在语言模型预训练方面的工作,从ELMo、GPT和BERT到更近期的模型。我的目标是对总体趋势进行广泛的报道,但提供更多关于我们最近在Facebook AI和华盛顿大学开发的模型的细节。其中特别包括序列到序列模型的预训练方法,如BART、mBART和MARGE,它们提供了一些迄今为止最普遍适用的方法。

成为VIP会员查看完整内容
0
38

自监督学习由于能够避免标注大规模数据集的成本而受到欢迎。它能够采用自定义的伪标签作为监督,并将学习到的表示用于几个下游任务。具体来说,对比学习最近已成为计算机视觉、自然语言处理(NLP)等领域的自主监督学习方法的主要组成部分。它的目的是将同一个样本的增广版本嵌入到一起,同时试图将不同样本中的嵌入推开。这篇论文提供了一个广泛的自我监督的方法综述,遵循对比的方法。本研究解释了在对比学习设置中常用的借口任务,以及到目前为止提出的不同架构。接下来,我们将对图像分类、目标检测和动作识别等多个下游任务的不同方法进行性能比较。最后,我们总结了目前方法的局限性和需要进一步的技术和未来方向取得实质性进展。

https://arxiv.org/abs/2011.00362

概述:

随着深度学习技术的发展,它已成为目前大多数智能系统的核心组件之一。深度神经网络(DNNs)能够从现有的大量数据中学习丰富的模式,这使得它在大多数计算机视觉(CV)任务(如图像分类、目标检测、图像分割、动作识别)以及自然语言处理(NLP)任务(如句子分类、语言模型、机器翻译等)中成为一种引人注目的方法。然而,由于手工标注数百万个数据样本的工作量很大,从标记数据中学习特征的监督方法已经几乎达到了饱和。这是因为大多数现代计算机视觉系统(受监督的)都试图通过查找大型数据集中数据点及其各自注释之间的模式来学习某种形式的图像表示。像GRAD-CAM[1]这样的工作提出了一种技术,可以为模型所做的决策提供可视化的解释,从而使决策更加透明和可解释。

传统的监督学习方法很大程度上依赖于可用的带注释的训练数据的数量。尽管有大量的可用数据,但缺乏注解促使研究人员寻找替代方法来利用它们。这就是自监督方法在推动深度学习的进程中发挥重要作用的地方,它不需要昂贵的标注,也不需要学习数据本身提供监督的特征表示。

监督学习不仅依赖昂贵的注释,而且还会遇到泛化错误、虚假的相关性和对抗攻击[2]等问题。最近,自监督学习方法集成了生成和对比方法,这些方法能够利用未标记的数据来学习潜在的表示。一种流行的方法是提出各种各样的代理任务,利用伪标签来帮助学习特征。诸如图像inpainting、灰度图像着色、拼图游戏、超分辨率、视频帧预测、视听对应等任务已被证明是学习良好表示的有效方法。

生成式模型在2014年引入生成对抗网络(GANs)[3]后得到普及。这项工作后来成为许多成功架构的基础,如CycleGAN[4]、StyleGAN[5]、PixelRNN[6]、Text2Image[7]、DiscoGAN [8]等。这些方法激发了更多的研究人员转向使用无标签数据在自监督的设置下训练深度学习模型。尽管取得了成功,研究人员开始意识到基于GAN的方法的一些并发症。它们很难训练,主要有两个原因: (a)不收敛——模型参数发散很多,很少收敛; (b)鉴别器太过成功,导致生成网络无法产生类似真实的假信号,导致学习无法继续。此外,生成器和判别器之间需要适当的同步,以防止判别器收敛和生成器发散。

成为VIP会员查看完整内容
0
32

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。

成为VIP会员查看完整内容
0
92

借助现代的高容量模型,大数据已经推动了机器学习的许多领域的革命,但标准方法——从标签中进行监督学习,或从奖励功能中进行强化学习——已经成为瓶颈。即使数据非常丰富,获得明确指定模型必须做什么的标签或奖励也常常是棘手的。收集简单的类别标签进行分类对于数百万计的示例来说是不可能的,结构化输出(场景解释、交互、演示)要糟糕得多,尤其是当数据分布是非平稳的时候。

自监督学习是一个很有前途的替代方法,其中开发的代理任务允许模型和代理在没有明确监督的情况下学习,这有助于对感兴趣的任务的下游性能。自监督学习的主要好处之一是提高数据效率:用较少的标记数据或较少的环境步骤(在强化学习/机器人技术中)实现可比较或更好的性能。

自监督学习(self-supervised learning, SSL)领域正在迅速发展,这些方法的性能逐渐接近完全监督方法。

成为VIP会员查看完整内容
0
95

近年来,人们对学习图结构数据表示的兴趣大增。基于标记数据的可用性,图表示学习方法一般分为三大类。第一种是网络嵌入(如浅层图嵌入或图自动编码器),它侧重于学习关系结构的无监督表示。第二种是图正则化神经网络,它利用图来增加半监督学习的正则化目标的神经网络损失。第三种是图神经网络,目的是学习具有任意结构的离散拓扑上的可微函数。然而,尽管这些领域很受欢迎,但在统一这三种范式方面的工作却少得惊人。在这里,我们的目标是弥合图神经网络、网络嵌入和图正则化模型之间的差距。我们提出了图结构数据表示学习方法的一个综合分类,旨在统一几个不同的工作主体。具体来说,我们提出了一个图编码解码器模型(GRAPHEDM),它将目前流行的图半监督学习算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和图表示的非监督学习(如DeepWalk、node2vec等)归纳为一个统一的方法。为了说明这种方法的一般性,我们将30多个现有方法放入这个框架中。我们相信,这种统一的观点既为理解这些方法背后的直觉提供了坚实的基础,也使该领域的未来研究成为可能。

概述

学习复杂结构化数据的表示是一项具有挑战性的任务。在过去的十年中,针对特定类型的结构化数据开发了许多成功的模型,包括定义在离散欧几里德域上的数据。例如,序列数据,如文本或视频,可以通过递归神经网络建模,它可以捕捉序列信息,产生高效的表示,如机器翻译和语音识别任务。还有卷积神经网络(convolutional neural networks, CNNs),它根据移位不变性等结构先验参数化神经网络,在图像分类或语音识别等模式识别任务中取得了前所未有的表现。这些主要的成功仅限于具有简单关系结构的特定类型的数据(例如,顺序数据或遵循规则模式的数据)。

在许多设置中,数据几乎不是规则的: 通常会出现复杂的关系结构,从该结构中提取信息是理解对象之间如何交互的关键。图是一种通用的数据结构,它可以表示复杂的关系数据(由节点和边组成),并出现在多个领域,如社交网络、计算化学[41]、生物学[105]、推荐系统[64]、半监督学习[39]等。对于图结构的数据来说,将CNNs泛化为图并非易事,定义具有强结构先验的网络是一项挑战,因为结构可以是任意的,并且可以在不同的图甚至同一图中的不同节点之间发生显著变化。特别是,像卷积这样的操作不能直接应用于不规则的图域。例如,在图像中,每个像素具有相同的邻域结构,允许在图像中的多个位置应用相同的过滤器权重。然而,在图中,我们不能定义节点的顺序,因为每个节点可能具有不同的邻域结构(图1)。此外,欧几里德卷积强烈依赖于几何先验(如移位不变性),这些先验不能推广到非欧几里德域(如平移可能甚至不能在非欧几里德域上定义)。

这些挑战导致了几何深度学习(GDL)研究的发展,旨在将深度学习技术应用于非欧几里德数据。特别是,考虑到图在现实世界应用中的广泛流行,人们对将机器学习方法应用于图结构数据的兴趣激增。其中,图表示学习(GRL)方法旨在学习图结构数据的低维连续向量表示,也称为嵌入。

广义上讲,GRL可以分为两类学习问题,非监督GRL和监督(或半监督)GRL。第一个系列的目标是学习保持输入图结构的低维欧几里德表示。第二系列也学习低维欧几里德表示,但为一个特定的下游预测任务,如节点或图分类。与非监督设置不同,在非监督设置中输入通常是图结构,监督设置中的输入通常由图上定义的不同信号组成,通常称为节点特征。此外,底层的离散图域可以是固定的,这是直推学习设置(例如,预测一个大型社交网络中的用户属性),但也可以在归纳性学习设置中发生变化(例如,预测分子属性,其中每个分子都是一个图)。最后,请注意,虽然大多数有监督和无监督的方法学习欧几里德向量空间中的表示,最近有兴趣的非欧几里德表示学习,其目的是学习非欧几里德嵌入空间,如双曲空间或球面空间。这项工作的主要动机是使用一个连续的嵌入空间,它类似于它试图嵌入的输入数据的底层离散结构(例如,双曲空间是树的连续版本[99])。

鉴于图表示学习领域的发展速度令人印象深刻,我们认为在一个统一的、可理解的框架中总结和描述所有方法是很重要的。本次综述的目的是为图结构数据的表示学习方法提供一个统一的视图,以便更好地理解在深度学习模型中利用图结构的不同方法。

目前已有大量的图表示学习综述。首先,有一些研究覆盖了浅层网络嵌入和自动编码技术,我们参考[18,24,46,51,122]这些方法的详细概述。其次,Bronstein等人的[15]也给出了非欧几里德数据(如图或流形)的深度学习模型的广泛概述。第三,最近的一些研究[8,116,124,126]涵盖了将深度学习应用到图数据的方法,包括图数据神经网络。这些调查大多集中在图形表示学习的一个特定子领域,而没有在每个子领域之间建立联系。

在这项工作中,我们扩展了Hamilton等人提出的编码-解码器框架,并介绍了一个通用的框架,图编码解码器模型(GRAPHEDM),它允许我们将现有的工作分为四大类: (i)浅嵌入方法,(ii)自动编码方法,(iii) 图正则化方法,和(iv) 图神经网络(GNNs)。此外,我们还介绍了一个图卷积框架(GCF),专门用于描述基于卷积的GNN,该框架在广泛的应用中实现了最先进的性能。这使我们能够分析和比较各种GNN,从在Graph Fourier域中操作的方法到将self-attention作为邻域聚合函数的方法[111]。我们希望这种近期工作的统一形式将帮助读者深入了解图的各种学习方法,从而推断出相似性、差异性,并指出潜在的扩展和限制。尽管如此,我们对前几次综述的贡献有三个方面

  • 我们介绍了一个通用的框架,即GRAPHEDM,来描述一系列广泛的有监督和无监督的方法,这些方法对图形结构数据进行操作,即浅层嵌入方法、图形正则化方法、图形自动编码方法和图形神经网络。

  • 我们的综述是第一次尝试从同一角度统一和查看这些不同的工作线,我们提供了一个通用分类(图3)来理解这些方法之间的差异和相似之处。特别是,这种分类封装了30多个现有的GRL方法。在一个全面的分类中描述这些方法,可以让我们了解这些方法究竟有何不同。

  • 我们为GRL发布了一个开源库,其中包括最先进的GRL方法和重要的图形应用程序,包括节点分类和链接预测。我们的实现可以在https://github.com/google/gcnn-survey-paper上找到。

成为VIP会员查看完整内容
0
153

【导读】Yann Lecun在纽约大学开设的2020春季《深度学习》课程,干货满满。最新的一期是来自Facebook AI的研究科学家Ishan Misra讲述了计算机视觉中的自监督学习最新进展,108页ppt,很不错报告。

在过去的十年中,许多不同的计算机视觉问题的主要成功方法之一是通过对ImageNet分类进行监督学习来学习视觉表示。并且,使用这些学习的表示,或学习的模型权值作为其他计算机视觉任务的初始化,在这些任务中可能没有大量的标记数据。

但是,为ImageNet大小的数据集获取注释是非常耗时和昂贵的。例如:ImageNet标记1400万张图片需要大约22年的人类时间。

因此,社区开始寻找替代的标记过程,如社交媒体图像的hashtags、GPS定位或自我监督方法,其中标签是数据样本本身的属性。

什么是自监督学习?

定义自我监督学习的两种方式:

  • 基础监督学习的定义,即网络遵循监督学习,标签以半自动化的方式获得,不需要人工输入。

  • 预测问题,其中一部分数据是隐藏的,其余部分是可见的。因此,其目的要么是预测隐藏数据,要么是预测隐藏数据的某些性质。

自监督学习与监督学习和非监督学习的区别:

  • 监督学习任务有预先定义的(通常是人为提供的)标签,

  • 无监督学习只有数据样本,没有任何监督、标记或正确的输出。

  • 自监督学习从给定数据样本的共现形式或数据样本本身的共现部分派生出其标签。

自然语言处理中的自监督学习

Word2Vec

  • 给定一个输入句子,该任务涉及从该句子中预测一个缺失的单词,为了构建文本前的任务,该任务特意省略了该单词。

  • 因此,这组标签变成了词汇表中所有可能的单词,而正确的标签是句子中省略的单词。

  • 因此,可以使用常规的基于梯度的方法对网络进行训练,以学习单词级表示。

为什么自监督学习

自监督学习通过观察数据的不同部分如何交互来实现数据的学习表示。从而减少了对大量带注释数据的需求。此外,可以利用可能与单个数据样本相关联的多个模式。

计算机视觉中的自我监督学习

通常,使用自监督学习的计算机视觉管道涉及执行两个任务,一个前置任务和一个下游任务。

  • 下游任务可以是任何类似分类或检测任务的任务,但是没有足够的带注释的数据样本。

  • Pre-text task是为学习视觉表象而解决的自监督学习任务,其目的是利用所学习的表象,或下游任务在过程中获得的模型权值。

发展Pre-text任务

  • 针对计算机视觉问题的文本前任务可以使用图像、视频或视频和声音来开发。

  • 在每个pre-text任务中,都有部分可见和部分隐藏的数据,而任务则是预测隐藏的数据或隐藏数据的某些属性。

下载链接: 链接: https://pan.baidu.com/s/1gNK4DzqtAMXyrD1fBFGa-w 提取码: ek7i

成为VIP会员查看完整内容
0
102
小贴士
相关VIP内容
专知会员服务
24+阅读 · 2020年11月21日
专知会员服务
32+阅读 · 2020年11月5日
专知会员服务
28+阅读 · 2020年8月9日
专知会员服务
92+阅读 · 2020年8月1日
专知会员服务
95+阅读 · 2020年5月29日
【上海交大】半监督学习理论及其研究进展概述
专知会员服务
42+阅读 · 2019年10月18日
相关资讯
深度学习模型可解释性的研究进展
专知
12+阅读 · 2020年8月1日
对比自监督学习
深度学习自然语言处理
12+阅读 · 2020年7月15日
【自监督学习】OpenAI科学家一文详解自监督学习
产业智能官
12+阅读 · 2020年3月18日
OpenAI科学家一文详解自监督学习
新智元
8+阅读 · 2019年11月20日
从 ICLR 2019 一览小样本学习最新进展!
AI科技评论
14+阅读 · 2019年6月9日
生成对抗网络的最新研究进展
AI科技评论
4+阅读 · 2019年2月6日
生成对抗网络的研究进展与趋势
中国计算机学会
16+阅读 · 2018年11月14日
相关论文
Haoyu Zhang,Marcel Grimmer,Raghavendra Ramachandra,Kiran Raja,Christoph Busch
0+阅读 · 4月6日
Tapas Nayak
0+阅读 · 4月5日
Xia Hu,Lingyang Chu,Jian Pei,Weiqing Liu,Jiang Bian
13+阅读 · 3月8日
Disentangled Information Bottleneck
Ziqi Pan,Li Niu,Jianfu Zhang,Liqing Zhang
8+阅读 · 2020年12月22日
Contrastive Transformation for Self-supervised Correspondence Learning
Ning Wang,Wengang Zhou,Houqiang Li
10+阅读 · 2020年12月9日
Jimmy Lin,Rodrigo Nogueira,Andrew Yates
12+阅读 · 2020年10月13日
Yang Liu
19+阅读 · 2019年3月25日
Interpretable machine learning: definitions, methods, and applications
W. James Murdoch,Chandan Singh,Karl Kumbier,Reza Abbasi-Asl,Bin Yu
12+阅读 · 2019年1月14日
Interpretable Convolutional Neural Networks via Feedforward Design
C. -C. Jay Kuo,Min Zhang,Siyang Li,Jiali Duan,Yueru Chen
4+阅读 · 2018年10月5日
Quanshi Zhang,Song-Chun Zhu
12+阅读 · 2018年2月7日
Top