摘要

深度长尾学习是视觉识别中最具挑战性的问题之一,其目标是从大量遵循长尾类分布的图像中训练出性能良好的深度模型。在过去的十年中,深度学习已经成为一种学习高质量图像表示的强大的识别模型,并导致了一般视觉识别的显著突破。然而,长尾类不平衡是实际视觉识别任务中普遍存在的问题,这种不平衡往往限制了基于深度网络的识别模型在实际应用中的实用性,因为长尾类容易偏向主导类,在尾类上的表现较差。为了解决这一问题,近年来人们进行了大量的研究,在深度长尾学习领域取得了可喜的进展。鉴于该领域的快速发展,本文对深度长尾学习的最新进展进行了综述。具体地说,我们将已有的深度长尾学习研究分为三类(即类重平衡、信息增强和模块改进),并根据这三类对这些方法进行了详细的回顾。之后,我们通过一种新提出的评价指标,即相对准确性,来评估它们在多大程度上解决了阶级失衡问题,从而对几种最先进的方法进行了实证分析。最后,我们强调了深度长尾学习的重要应用,并确定了未来研究的几个有前景的方向。

引言

深度学习允许由多个处理层组成的计算模型学习具有多级抽象[1]、[2]的数据表示,并在计算机视觉[3]、[4]、[5]、[6]、[7]、[8]方面取得了令人难以置信的进展。深度学习的关键因素是大规模数据集的可用性、GPU的出现和深度网络架构[9]的进步。深度神经网络具有很强的学习高质量数据表示的能力,在图像分类[6]、[10]、目标检测[7]、[11]和语义分割[8]、[12]等视觉识别任务中取得了巨大的成功。

在实际应用中,训练样本通常表现为长尾类分布,其中一小部分类有大量的样本点,而其他类只与少数样本[13],[14],[15],[16]相关。然而,这种训练样本数量的类不平衡,使得基于深度网络的识别模型的训练非常具有挑战性。如图1所示,训练后的模型容易偏向训练数据量大的头类,导致模型在数据量有限的尾类上表现不佳。因此,经验风险最小化[20]常用实践训练的深度模型无法处理长尾类不平衡的现实应用,如人脸识别[21],[22],物种分类[23],[24],医学图像诊断[25],城市场景理解[26],无人机检测[27]。针对长尾类的不平衡,近年来开展了大量的深度长尾学习研究,包括[15]、[16]、[28]、[29]、[30]。尽管这一领域发展迅速,但仍没有系统的研究来回顾和讨论现有的进展。为了填补这一空白,我们旨在对2021年年中之前进行的近期长尾学习研究进行全面综述。

如图2所示,我们根据现有方法的主要技术贡献将其分为三类,即类重平衡、信息增强和模块改进;这些类别可以进一步分为九个子类别:重采样、代价敏感学习、logit调整、迁移学习、数据增强、表示学习、分类器设计、解耦训练和集成学习。根据这一分类,我们对现有的方法进行了全面的回顾,并对几种最先进的方法进行了实证分析,使用一个新的评价指标,即相对准确性来评价它们处理类不平衡的能力。我们通过介绍几个真实的深度长尾学习的应用场景,并确定了几个有前景的研究方向,可以由社区在未来探索。

我们总结了这项综述的主要贡献如下。

• 据我们所知,这是第一次对深度长尾学习的全面调研,将为研究人员和社区提供对深度神经网络的长尾视觉学习的更好理解。

• 我们提供了对高级长尾学习研究的深入回顾,并通过一个新的相对准确性度量来评估它们在多大程度上处理长尾类别失衡,以实证研究最先进的方法。

• 我们为未来的研究确定了四个潜在的方法创新方向以及八个新的深度长尾学习任务设置。

第二节介绍了问题的定义,并介绍了广泛使用的数据集、度量和网络骨架。第3节全面回顾了先进的长尾学习方法,第4节基于一个新的评价指标实证分析了几种最先进的方法。第5节给出了深度长尾学习的应用场景,第6节给出了未来的研究方向。我们在第7节结束调研。

成为VIP会员查看完整内容
0
28

相关内容

在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要

分布外泛化(OOD)对人类来说是一种很自然的能力,但对机器来说是一个挑战。这是因为大多数学习算法强烈地依赖于源/目标数据的i.i.d.假设,而在实践中,由于域转移,这经常违背IID。领域泛化(DG)的目标是仅使用源数据进行模型学习,实现OOD泛化。自2011年首次引入DG以来,DG研究取得了很大进展。特别是,对这一主题的深入研究已经导致了广泛的方法论,例如,那些基于领域对齐、元学习、数据增强或集成学习的方法,这只是举几个例子;并涵盖了各种视觉应用,如物体识别、分割、动作识别和人的再识别。本文首次对近十年来计算机视觉DG的研究进展进行了综述。具体来说,我们首先通过正式定义DG,并将其与领域适应和迁移学习等其他研究领域联系起来,来覆盖背景。其次,我们对现有的方法进行了全面的回顾,并根据它们的方法和动机进行了分类。最后,我们总结了本次综述,并对未来的研究方向进行了展望和讨论。

https://www.zhuanzhi.ai/paper/c8472ef62b32f2b955bd2b239009bfc1

引言

如果一个图像分类器在照片图像上训练,它会在草图图像上工作吗?如果用城市图像训练的汽车检测器在农村环境中测试会怎样?是否有可能部署在雨天或雪天条件下使用晴天图像训练的语义分割模型?使用一名患者的心电图数据训练的健康状态分类器能否用于诊断另一名患者的健康状态?所有这些问题的答案取决于机器学习模型如何处理一个常见问题,即域转移问题。该问题是指一组训练(源)数据与一组测试(目标)数据[1],[2],[3],[4]之间的分布偏移。

大多数统计学习算法强烈依赖于过于简化的假设,即源数据和目标数据是独立的、同分布的(i.i.d),而忽略了实践中常见的分布外(OOD)场景。这意味着它们在设计时并没有考虑到域迁移问题。因此,只使用源数据训练的学习代理在OOD目标域中通常会遭受显著的性能下降。领域转移问题严重阻碍了机器学习模型的大规模部署。人们可能会好奇,最近在深度神经网络[5],[6],即所谓的深度学习[7]方面的进展是否能够缓解这个问题。[2]和[8]的研究表明,即使在数据生成过程中只有很小的变化,深度学习模型在OOD数据集上的性能也会显著下降。这突出表明,到目前为止,深度学习取得的成功很大程度上是由监督学习驱动的,这些监督学习使用的是像ImageNet[9]这样的大规模注释数据集,同样也依赖于i.i.d.假设。

关于如何处理域转移的问题在文献中已经进行了广泛的研究。绕过OOD数据问题的一个简单解决方案是从目标领域收集一些数据,以适应源领域训练的模型。事实上,这一域适应(DA)问题最近受到了广泛关注,包括[10]、[11]、[12]、[13]、[14]、[15]、[16]。然而,DA依赖于一个强大的假设,即目标数据可以用于模型调整,但在实践中并不总是成立。在许多应用中,很难获得目标数据,甚至在部署模型之前无法知道目标数据。例如,在生物医学应用中,不同患者的数据之间发生域转移,提前收集每个新患者的数据是不切实际的;在交通场景语义分割中,采集所有不同场景和所有可能天气条件下的数据是不可行的。

为了克服域漂移问题以及目标数据缺乏的问题,引入了域泛化问题[19]。具体来说,DG的目标是使用来自单个或多个相关但不同的源域的数据来学习模型,以使模型能够很好地泛化到任何OOD目标域。近年来,DG因其在实际应用中的重要性而日益受到学术界的重视。

自2011年Blanchard等人[19]首次引入以来,已经开发了许多方法来解决OOD泛化问题。这包括基于对源域分布的方法,用于域不变表示学习[27],[28],在训练期间通过元学习[29],[30],或使用图像合成[31],[32]来增强数据,仅举几个例子。从应用的角度来看,现有的DG方法已经应用于手写体数字识别[31]、[32]、物体识别[33]、[34]、语义分割[18]、[35]、人再识别[20]、[31]、人脸识别[36]、动作识别[27]、[37]等等。尽管作出了这些努力,但普遍承认DG仍然是一个公开的挑战。事实上,在无法访问目标领域数据的情况下,训练一个可以在任何不可见的目标领域有效工作的一般化模型,可以说是机器学习中最困难的问题之一。

在这篇综述论文中,我们旨在提供一个及时和全面的文献综述。综述了近十年来所介绍的主要方法和应用,重点介绍了计算机视觉领域。并对未来的发展方向进行了讨论。本文的其余部分组织如下。在§2中,我们介绍了背景知识,给出了问题的定义,并将DG与领域适应和迁移学习等几个相关研究领域进行了比较。讨论了对DG算法进行基准测试的常用数据集。在§3中,我们回顾了过去十年提出的现有DG方法,并提出了一个分类。在§4中,我们总结了这篇论文,并对未来工作的潜在研究方向进行了见解和讨论。作为这一主题的第一份综述论文,我们希望这一及时的综述能够为研究界提供清晰的思路和进一步发展的动力。

成为VIP会员查看完整内容
0
25

摘 要:小目标检测长期以来是计算机视觉中的一个难点和研究热点。在深度学习的驱动下,小目标 检测已取得了重大突破,并成功应用于国防安全、智能交通和工业自动化等领域。为了进一步促进小 目标检测的发展,本文对小目标检测算法进行了全面的总结,并对已有算法进行了归类、分析和比较。首先,对小目标进行了定义,并概述小目标检测所面临的挑战。然后,重点阐述从数据增强、多尺度学 习、上下文学习、生成对抗学习以及无锚机制等方面来提升小目标检测性能的方法,并分析了这些方法 的优缺点和关联性。之后,全面介绍小目标数据集,并在一些常用的公共数据集上对已有算法进行了 性能评估。最后本文对小目标检测技术的未来发展方向进行了展望。

成为VIP会员查看完整内容
0
24

面对人工标注大量样本费时费力,一些稀有类别样本难于获取等问题,零样本图像分类成为计算机视觉领域的一个研究热点。首先,对零样本学习,包括直推式零样本学习和归纳式零样本学习进行了简单介绍;其次,重点介绍了基于空间嵌入零样本图像分类方法和基于生成模型零样本图像分类方法以及它们的子类方法,并对这些方法的机制、优缺点和适用场景等进行了分析和总结;然后,简单介绍了零样本图像分类常用数据集和评估方法,并对典型零样本图像分类方法进行了性能比较;接着,指出了现有零样本图像分类中存在的领域漂移、枢纽点和语义鸿沟等问题及相应的解决思路;最后,对零样本图像分类未来发展趋势和研究热点,如判别性区域的准确定位、生成高质量不可见类视觉特征、广义零样本图像分类等进行了探讨。

http://fcst.ceaj.org/CN/abstract/abstract2683.shtml

成为VIP会员查看完整内容
0
30

经典机器学习算法假设训练数据和测试数据具有相同的输入特征空间和相同的数据分布。在诸多现实问题中,这一假设往往不能满足,导致经典机器学习算法失效。领域自适应是一种新的学习范式,其关键技术在于通过学习新的特征表达来对齐源域和目标域的数据分布,使得在有标签源域训练的模型可以直接迁移到没有标签的目标域上,同时不会引起性能的明显损失。本文介绍领域自适应的定义,分类和代表性算法,重点讨论基于度量学习的领域自适应算法和基于对抗学习的领域自适应算法。最后,分析领域自适应的典型应用和存在挑战,明确领域自适应的发展趋势,并提出未来可能的研究方向。

成为VIP会员查看完整内容
0
34

我们研究事实核查问题,它的目的是确定一个给定的主张的真实性。具体来说,我们关注的是事实提取和验证(FEVER)及其伴随数据集的任务。该任务由从Wikipedia检索相关文档(和句子)以及验证文档中的信息是否支持或驳斥给定的声明的子任务组成。这项任务至关重要,可以成为假新闻检测和医疗索赔核实等应用程序的基石。在本文中,我们旨在通过结构化和全面的方式呈现文献来更好地理解这项任务的挑战。此外,我们通过分析不同方法的技术视角和讨论了在FEVER数据集上的性能结果来描述所提出的方法。FEVER数据集是在事实提取和验证任务上研究最充分、结构最正式的数据集。我们还进行了迄今为止最大的实验研究,以确定有益的损失功能的句子检索成分。分析表明,对否定句进行采样对于提高性能和降低计算复杂度具有重要意义。最后,我们描述了有待解决的问题和未来的挑战,并对未来的研究提出了展望。

https://arxiv.org/abs/2010.03001

成为VIP会员查看完整内容
0
14

在人类中,注意力是所有感知和认知操作的核心属性。考虑到我们处理竞争性信息来源的能力有限,注意力机制选择、调整和关注与行为最相关的信息。

几十年来,哲学、心理学、神经科学和计算机科学都在研究注意力的概念和功能。在过去的六年中,这一特性在深度神经网络中得到了广泛的研究。目前,深度学习的研究进展主要体现在几个应用领域的神经注意力模型上。

本研究对神经注意力模型的发展进行了全面的概述和分析。我们系统地回顾了该领域的数百个架构,识别并讨论了那些注意力显示出重大影响的架构。我们亦制订了一套自动化方法体系,并将其公诸于众,以促进这方面的研究工作。通过批判性地分析650部文献,我们描述了注意力在卷积、循环网络和生成模型中的主要用途,识别了使用和应用的共同子组。

此外,我们还描述了注意力在不同应用领域的影响及其对神经网络可解释性的影响。最后,我们列出了进一步研究的可能趋势和机会,希望这篇综述能够对该领域的主要注意力模型提供一个简明的概述,并指导研究者开发未来的方法,以推动进一步的改进。

成为VIP会员查看完整内容
0
121

摘要: 图像修复是计算机视觉领域中极具挑战性的研究课题。近年来,深度学习技术的发展推动了图像修复性能的显著提升,使得图像修复这一传统课题再次引起了学者们的广泛关注。文章致力于综述图像修复研究的关键技术。由于深度学习技术在解决“大面积缺失图像修复”问题时具有重要作用并带来了深远影响,文中在简要介绍传统图像修复方法的基础上,重点介绍了基于深度学习的修复模型,主要包括模型分类、优缺点对比、适用范围和在常用数据集上的性能对比等,最后对图像修复潜在的研究方向和发展动态进行了分析和展望。

http://www.jsjkx.com/CN/10.11896/jsjkx.210100048

成为VIP会员查看完整内容
0
32

深度学习在大量领域取得优异成果,但仍然存在着鲁棒性和泛化性较差、难以学习和适应未观测任务、极其依赖大规模数据等问题.近两年元学习在深度学习上的发展,为解决上述问题提供了新的视野.元学习是一种模仿生物利用先前已有的知识,从而快速学习新的未见事物能力的一种学习定式.元学习的目标是利用已学习的信息,快速适应未学习的新任务.这与实现通用人工智能的目标相契合,对元学习问题的研究也是提高模型的鲁棒性和泛化性的关键.近年来随着深度学习的发展,元学习再度成为热点,目前元学习的研究百家争鸣、百花齐放. 本文从元学习的起源出发,系统地介绍元学习的发展历史,包括元学习的由来和原始定义,然后给出当前元学习的通用定义,同时总结当前元学习一些不同方向的研究成果,包括基于度量的元学习方法、基于强泛化新的初始化参数的元学习方法、基于梯度优化器的元学习方法、基于外部记忆单元的元学方法、基于数据增强的元学方法等. 总结其共有的思想和存在的问题,对元学习的研究思想进行分类,并叙述不同方法和其相应的算法.最后论述了元学习研究中常用数据集和评判标准,并从元学习的自适应性、进化性、可解释性、连续性、可扩展性展望其未来发展趋势.

引言

随着计算设备并行计算性能的大幅度 进步,以及近些年深度神经网络在各个领域 不断取得重大突破,由深度神经网络模型衍 生而来的多个机器学习新领域也逐渐成型, 如强化学习、深度强化学习[1] [2] 、深度监督 学习等。在大量训练数据的加持下,深度神 经网络技术已经在机器翻译、机器人控制、 大数据分析、智能推送、模式识别等方面取 得巨大成果[3] [4] [5] 。

实际上在机器学习与其他行业结合的 过程中,并不是所有领域都拥有足够可以让 深度神经网络微调参数至收敛的海量数据, 相当多领域要求快速反应、快速学习,如新 兴领域之一的仿人机器人领域,其面临的现 实环境往往极为复杂且难以预测,若按照传 统机器学习方法进行训练则需要模拟所有 可能遇到的环境,工作量极大同时训练成本 极高,严重制约了机器学习在其他领域的扩 展,因此在深度学习取得大量成果后,具有 自我学习能力与强泛化性能的元学习便成 为通用人工智能的关键。

元学习(Meta-learning)提出的目的是 针对传统神经网络模型泛化性能不足、对新 种类任务适应性较差的特点。在元学习介绍 中往往将元学习的训练和测试过程类比为 人类在掌握一些基础技能后可以快速学习并适应新任务,如儿童阶段的人类也可以快 速通过一张某动物照片学会认出该动物,即 机 器 学 习 中 的 小 样 本 学 习 ( Few-shot Learning)[6] [7] ,甚至不需要图像,仅凭描 述就可学会认识新种类,对应机器学习领域 中的(Zero-shot Learning)[8] ,而不需要大 量该动物的不同照片。人类在幼儿阶段掌握 的对世界的大量基础知识和对行为模式的 认知基础便对应元学习中的“元”概念,即一 个泛化性能强的初始网络加上对新任务的 快速适应学习能力,元学习的远期目标为通 过类似人类的学习能力实现强人工智能,当 前阶段体现在对新数据集的快速适应带来 较好的准确度,因此目前元学习主要表现为 提高泛化性能、获取好的初始参数、通过少 量计算和新训练数据即可在模型上实现和 海量训练数据一样的识别准确度,近些年基 于元学习,在小样本学习领域做出了大量研 究[9] [10] [11] [12] [13] [14] [15] [16] [17] ,同时为模拟 人类认知,在 Zero-shot Learning 方向也进行 了大量探索[18] [19] [20] [21] [22] 。

在机器学习盛行之前,就已产生了元学习的相关概念。当时的元学习还停留在认知 教育科学相关领域,用于探讨更加合理的教 学方法。Gene V. Glass 在 1976 年首次提出 了“元分析”这一概念[23] ,对大量的分析结 果进行统计分析,这是一种二次分析办法。G Powell 使用“元分析”的方法对词汇记忆 进行了研究[24] ,指出“强制”和“诱导”意象有 助于词汇记忆。Donald B.Maudsley 在 1979 年首次提出了“元学习”这一概念,将其描述 为“学习者意识到并越来越多地控制他们已 经内化的感知、探究、学习和成长习惯的过 程”,Maudsley 将元学习做为在假设、结构、 变化、过程和发展这 5 个方面下的综合,并 阐述了相关基本原则[25] 。BIGGS J.B 将元学 习描述为“意识到并控制自己的学习的状 态” [26] ,即学习者对学习环境的感知。P Adey 将元学习的策略用在物理教学上[27] , Vanlehn K 探讨了辅导教学中的元学习方法 [28] 。从元分析到元学习,研究人员主要关 注人是如何意识和控制自己学习的。一个具 有高度元学习观念的学生,能够从自己采用 的学习方法所产生的结果中获得反馈信息,进一步评价自己的学习方法,更好地达到学 习目标[29] 。随后元学习这一概念慢慢渗透 到机器学习领域。P.Chan 提出的元学习是一 种整合多种学习过程的技术,利用元学习的 策略组合多个不同算法设计的分类器,其整 体的准确度优于任何个别的学习算法[30] [31] [32] 。HilanBensusan 提出了基于元学习的决 策树框架[33] 。Vilalta R 则认为元学习是通 过积累元知识动态地通过经验来改善偏倚 的一种学习算法[34] 。

Meta-Learning 目前还没有确切的定义, 一般认为一个元学习系统需结合三个要求:系统必须包含一个学习子系统;利用以前学 习中提取的元知识来获得经验,这些元知识 来自单个数据集或不同领域;动态选择学习偏差。

元学习的目的就是为了设计一种机器学习模型,这种模型有类似上面提到的人的 学习特性,即使用少量样本数据,快速学习 新的概念或技能。经过不同任务的训练后, 元学习模型能很好的适应和泛化到一个新任务,也就学会了“Learning to learn”。

成为VIP会员查看完整内容
0
109

小样本学习旨在通过少量样本学习到解决问题的模型.近年来在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为了目前人们需要关注的问题.本文系统梳理了当前小样本学习的相关工作,具体介绍了基于模型微调、基于数据增强和基于迁移学习三大类小样本学习模型与算法的研究进展;本文将基于数据增强的方法细分为基于无标签数据、基于数据合成和基于特征增强三类,将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络三类.本文还总结了目前常用的小样本数据集,以及代表性的小样本学习模型在这些数据集上的实验结果,随后对小样本学习的现状和挑战进行了概述,最后展望了小样本学习的未来发展方向.

http://www.jos.org.cn/jos/ch/reader/create_pdf.aspx?file_no=6138&journal_id=jos

随着大数据时代的到来,深度学习模型已经在图像分类、文本分类等任务中取得了先进成果.但深度学习模型的成功很大程度 上依赖于大量训练数据,而在现实世界的真实场景中某些类别只有少量数据或少量标注数据,而对无标签数据进行标注将会消耗 大量的时间和人力.与此相反,人类只需要通过少量数据就能做到快速学习.例如一个五六岁的小孩子从未见过企鹅,但如果给他看 过一张企鹅的图像,当他进入动物园看到真正的企鹅时,就会马上认出这是自己曾经在图像上见过的“企鹅”,这就是机器学习和人类学习之间存在的差距.受到人类学习观点的启发[1],小样本学习[2] [3](few-shot learning)的概念被提出,使得机器学习更加靠近人类思维.

早在 20 世纪八九十年代,就有一些研究人员注意到了单样本学习(one-shot learning)的问题,直到 2003 年 Li 等[4]才正式提出了 单样本学习的概念.他们认为当新的类别只有一个或几个带标签的样本时,已经学习到的旧类别可以帮助预测新类别[5].小样本学 习也叫作少样本学习(low-shot learning) [7],其目标是从少量样本中学习到解决问题的方法.与小样本学习相关的概念还有零样本学 习(zero-shot learning)等.零样本学习是指在没有训练数据的情况下,利用类别的属性等信息训练模型,从而识别新类别.

小样本学习的概念最早从计算机视觉(Computer Vision) [8]领域兴起,近几年受到广泛关注,在图像分类任务中已有很多性能优 异的算法模型[34][37][45].但是在自然语言处理领域(Natural Language Processing) [9]的发展较为缓慢,原因在于图像和语言特性不同.图 像相比文本更为客观,所以当样本数量较少时,图像的特征提取比文本更加容易[87].不过近年来小样本学习在自然语言处理领域也 有了一些研究和发展[10][46][48].根据所采用方法的不同,本文将小样本学习分为基于模型微调、基于数据增强和基于迁移学习三种. 基于模型微调的方法首先在含有大量数据的源数据集上训练一个分类模型,然后在含有少量数据的目标数据集上对模型进行微 调.但这种做法可能导致模型过拟合,因为少量数据并不能很好地反映大量数据的真实分布情况.为解决上述过拟合的问题,基于数 据增强和基于迁移学习的小样本学习方法被提出.基于数据增强的方法是利用辅助数据集或者辅助信息增强目标数据集中样本的 特征或扩充对目标数据集,使模型能更好地提取特征.本文根据学习方法不同,将基于数据增强的小样本学习方法进一步细分为基 于无标签数据、基于数据合成和基于特征增强三类方法.基于迁移学习的方法是目前比较前沿的方法,是指将已经学会的知识迁移 到一个新的领域中.本文根据学习框架将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络(Graph Neural Networks)的方法.在度量学习的框架下目前已有许多性能较好的小样本学习模型,例如比较著名的原型网络(Prototypical Networks) [34]和匹配网络(Matching Networks) [31]等.基于元学习的方法不仅在目标任务上训练模型,而是从许多不同的任务中学习 元知识,当一个新的任务到来时,利用元知识调整模型参数,使模型能够快速收敛.近年来随着图神经网络的兴起,研究者将图神经网 络也应用到小样本学习中,取得了先进的结果.

除了图像分类和文本分类这两个主要任务,许多其他任务也面临着小样本问题.在计算机视觉应用中,利用小样本学习进行人脸识别[8][60][82]、食品识别[61]、表情识别[66]、手写字体识别[70][79]以及其他的图像识别[65]. 在自然语言处理应用中,使用小样本方法 实现对话系统[67]、口语理解[62],或者完成 NLP 的基本任务,例如 word embedding[63].在多媒体领域应用中,可以使用小样本方法实现 影像提取[73]和声纹识别[80]等.在生物与医学领域,可以应用于疾病诊断[71][72]、临床实验[84]、护士能力评价[75]、农作物病害识别[69][81]、 水量分析[76]等.在经济领域,可应用于产品销量预测[77]等.在工业与军事领域,可应用于齿轮泵寿命预测[78]、军事目标识别[74]和目标 威胁评估[83]等.

本文首先从基于模型微调、基于数据增强和基于迁移学习三种方法介绍小样本学习的研究进展,总结小样本学习的几个著名数据集以及已有模型在这些数据集上的实验结果;接下来,本文对小样本学习的研究现状和主要挑战进行总结;最后展望了未来的 发展趋势.

成为VIP会员查看完整内容
0
131

推荐系统旨在为用户推荐个性化的在线商品或信息, 其广泛应用于众多Web场景之中, 来处理海量信息数据所导致的信息过载问题, 以此提升用户体验. 鉴于推荐系统强大的实用性, 自20世纪90年代中期以来, 研究者针对其方法与应用两方面, 进行了大量广泛的研究. 近年来, 很多工作发现知识图谱中所蕴含的丰富信息可以有效地解决推荐系统中存在的一系列关键问题, 例如数据稀疏、冷启动、推荐多样性等. 因此, 本文 针对基于知识图谱的推荐系统这一领域进行了全面的综述. 具体地, 首先简单介绍推荐系统与知识图谱中的一些基本概念. 随后, 详细介绍现有方法如何挖掘知识图谱不同种类的信息并应用于推荐系统. 此外, 总结了相关的一系列推荐应用场景. 最后, 提出了对基于知识图谱的推荐系统前景的看法, 并展望了该领域未来的研究方向.

成为VIP会员查看完整内容
0
200
小贴士
相关VIP内容
专知会员服务
24+阅读 · 7月10日
专知会员服务
30+阅读 · 5月15日
专知会员服务
34+阅读 · 5月5日
专知会员服务
14+阅读 · 4月20日
专知会员服务
32+阅读 · 3月9日
专知会员服务
109+阅读 · 2月4日
专知会员服务
131+阅读 · 2020年12月5日
专知会员服务
200+阅读 · 2020年8月10日
相关资讯
图像修复研究进展综述
专知
5+阅读 · 3月9日
最新《多任务学习》综述,39页pdf
专知
8+阅读 · 2020年7月10日
最全综述 | 图像分割算法
计算机视觉life
11+阅读 · 2019年6月20日
最全综述 | 医学图像处理
计算机视觉life
35+阅读 · 2019年6月15日
DL | 语义分割综述
机器学习算法与Python学习
54+阅读 · 2019年3月13日
计算机视觉方向简介 | 目标检测最新进展总结与展望
计算机视觉life
6+阅读 · 2018年10月28日
综述 | 近年来深度学习的重要研究成果(附PDF)
数据派THU
10+阅读 · 2018年8月15日
相关论文
Souvic Chakraborty,Pawan Goyal,Animesh Mukherjee
0+阅读 · 10月27日
Zhenghao Peng,Quanyi Li,Ka Ming Hui,Chunxiao Liu,Bolei Zhou
0+阅读 · 10月26日
Robert Schöne,Thomas Ilsche,Mario Bielert,Markus Velten,Markus Schmidl,Daniel Hackenberg
0+阅读 · 10月25日
Shujian Zhang,Xinjie Fan,Huangjie Zheng,Korawat Tanwisuth,Mingyuan Zhou
0+阅读 · 10月25日
Tianxiang Sun,Xiangyang Liu,Xipeng Qiu,Xuanjing Huang
17+阅读 · 9月26日
Cihang Xie,Mingxing Tan,Boqing Gong,Jiang Wang,Alan Yuille,Quoc V. Le
4+阅读 · 2019年11月21日
Parisa Naderi Golshan,HosseinAli Rahmani Dashti,Shahrzad Azizi,Leila Safari
6+阅读 · 2018年3月15日
Massimo Quadrana,Paolo Cremonesi,Dietmar Jannach
8+阅读 · 2018年2月23日
You Xie,Erik Franz,Mengyu Chu,Nils Thuerey
5+阅读 · 2018年1月29日
Top