小样本深度学习图像识别最新综述论文

图像识别是图像研究领域的核心问题, 解决图像识别问题对人脸识别、自动驾驶、机器人等各领域研究都有重要意义. 目前广泛使用的基于深度神经网络的机器学习方法, 已经在鸟类分类、人脸识别、日常物品分类等图像识别数据集上达到了超过人类的水平, 同时越来越多的工业界应用开始考虑基于深度神经网络的方法, 以完成一系列图像识别业务. 但是深度学习方法极度依赖大规模标注数据, 这一缺陷极大地限制了深度学习方法在实际图像识别任务中的应用. 针对这一问题, 越来越多的研究者开始研究如何基于少量的图像识别标注样本来训练识别模型. 为了更好地理解基于少量标注样本的图像识别问题, 广泛地讨论了几种图像识别领域主流的少量标注学习方法, 包括基于数据增强的方法、基于迁移学习的方法以及基于元学习的方法, 通过讨论不同算法的流程以及核心思想, 可以清晰地看到现有方法在解决少量标注的图像识别问题上的优点和不足. 最后针对现有方法的局限性, 指出了小样本图像识别未来的研究方向.

地址: http://www.jos.org.cn/jos/article/abstract/6342?st=article_issue

现在的机器学习方法, 尤其是基于深度神经网络的机器学习方法已经在人脸识别[1]、自动驾驶[2]、机器人[3] 等图像识别相关领域取得了巨大的成就, 有的甚至已经超过人类目前的识别水平. 然而在深度学习取得巨大成就 的同时, 人们发现把其应用到实际问题中却困难重重. 首先是标注数据的问题, 目前的深度学习方法需要大量的标 注数据来进行训练[4] , 但是实际应用中数据获取往往是困难的, 这之中既有个人隐私的问题, 比如人脸数据, 也有 问题对象本身就很少的问题, 比如识别珍稀保护动物的问题, 除此之外, 数据标注工作往往需要耗费大量人力物力, 从而阻碍了深度学习技术在图像识别领域的落地. 其次是算力问题, 深度学习方法在提高算法性能的同时, 往往伴随着庞大的网络运算, 这也就使得深度学习的方法很难部署在计算资源受限的设备上, 因此在一些算力受限 的应用场景, 比如自动驾驶、机器人、道路监控等问题中, 图像识别任务目前大多还是使用一些低智能化、低算力消耗的技术完成的, 这同样严重阻碍了智能化图像识别技术的发展.

与之相反, 人类的识别却是相对轻量的, 即并不需要收集大量的数据来进行学习, 更不需要长时间的思考或者 计算[5] . 比如父母教新生婴儿识字, 分辨动物, 只需要简单地在家里贴上一两幅相应的字画即可, 小孩很快就会认 识上面的内容. 如何在保留现在的深度学习方法强大的知识表示能力的同时, 使其可以快速从少量样本中学习到 有用的知识, 这种基于小样本的图像识别问题已经逐渐引起了人们的注意.

本文将按照下面的顺序来展开讨论, 首先在第 1 节介绍小样本图像识别的问题描述, 然后会在第 2 节介绍基 于数据增强的小样本学习算法, 在第 3 部分介绍基于迁移学习的算法, 在第 4 节介绍基于元学习的算法, 会在第 5 节介绍现在广泛使用的小样本图像识别问题评价指标, 并对比上面介绍的算法在该问题基准上的性能, 最后会在 第 6 部分指出现有算法的不足以及未来的发展方向.

1 小样本学习简介

小样本图像识别任务需要机器学习模型在少量标注数据上进行训练和学习, 目前经常研究的问题为 N-way Kshot 形式, 即问题包括 N 种数据, 每种数据只包含 K 个标注样本[6] . 现有的小样本图像识别问题可以看做是基于深 度迁移学习的图像识别问题, 这里我们把上面提到的少量标注数据称作目标数据域, 后续的识别任务都是基于目 标数据所包含的类别进行的; 然后为了辅助模型的训练, 通常会引入一个和目标数据域类别互斥的辅助数据集, 和 目标数据域的少量标注相反, 辅助数据集的标注样本更加丰富, 类别也更加多.

解决 N-way K-shot 形式的小样本图像识别任务, 大多数方法会从辅助数据集学习先验知识, 然后在标注有限 的目标数据域上利用这些先验知识完成学习和预测任务. 在下面的章节我们会详细讨论如何基于辅助数据集来学 习先验知识, 以及如何利用这些先验知识来在小样本图像识别问题上完成学习和预测.

2 基于数据增强的小样本图像识别方法

小样本图像识别任务的核心问题是标注数据不足, 所以通过算法生成人工标注数据, 来扩充原有的数据量是 一种非常直观的方法[7] . 在小样本图像识别任务领域, 目前常用的数据增强方法基本上都是利用少量的标注数据 来生成更多的伪数据, 比如人工合成图像, 同时需要给这些伪数据打上标签, 然后作为标注数据来辅助训练, 本质 上和迁移学习的方法是异曲同工的[8] . 按照伪数据的使用方式, 可以将其划分为两种类型: 一种是使用伪数据来填 补标注不足的小样本数据, 另外一种是使用伪数据来显式地锐化分类算法学习到的决策边界. 下面就这两种方法 以及对应的具体算法展开讨论.

基于数据增强的思路来解决小样本学习问题是一种最直观的思路, 而且该类方法更加灵活, 通过设 计数据增强模块生成伪数据, 将其扩充到小样本数据中, 使用混合数据直接对识别模型进行更新即可. 但是因为实 际样本数目较少, 目前广泛使用的基于深度神经网络的方法在实际的数据增强中, 容易出现知识偏移以及过拟合 的问题, 所以实际的应用效果会比后面介绍的几类方法差一些. 但是这种数据增强的思路对于解决实际的样本缺 失问题来说更具有普遍意义, 所以将数据增强的思路融入迁移学习或者元学习的算法中, 是未来值得研究的方向.

3 基于迁移学习的小样本图像识别方法

面对标注限制的机器学习任务, 一个很自然的思路就是将模型在大数据集上进行预训练, 从中学习到一些有 利于当前任务的先验知识, 从而来弥补标注数据不足的问题. 这一方法在机器学习领域, 尤其是近几年普遍使用的 神经网络方法中取得了不错的效果, 下面关于为什么迁移学习[16]可以应用于小样本学习, 以及迁移学习如何应用 于小样本学习进行讨论。

4 基于元学习的小样本图像识别方法

元学习[24]的目标是使得网络模型具有快速学习的能力, 快速学习是人类与生俱来的一种生存能力, 元学习方 法希望模型具有像人类一样, 通过较少的示例就可以在较短的时间内学会分辨新的事物的能力. 通过元学习的问 题定义可以发现, 元学习方法是处理小样本学习问题的一个重要思路. 本节将围绕 3 种用于小样本图像识别问题 的元学习方法展开讨论, 这 3 种方法分别为基于优化器的小样本学习算法, 基于度量的小样本学习算法以及基于 外部记忆的小样本学习算法.

基于元学习的思路来解决小样本学习问题, 是近两年该领域的研究热点, 如何划分任务通用参数和任务特定 参数, 如何更加有效地训练元学习模型等课题一直具有相当的活力. 元学习算法希望学习一个可以“自主”学习的模型, 使得模型在只有少量样本的新任务上可以快速泛化. 尽管元学习方法在小样本学习中已经取得了不错的效 果, 但是该类方法仍然存在一些问题.

(1) 元学习算法优化难; 因为采用多任务交替训练的方式来更新模型, 不同任务的数据之间存在数据分布的不 同, 只是简单地交替训练, 在任务数据分布差别较大的时候, 会导致最后的模型难以收敛的问题;

(2) 元学习算法缺乏相关的可解释性; 元学习算法的思路具有一定的启发性, 但是关于方法的有效性一直难以 被证明, 同时元学习方法和迁移学习方法之间的区别也一直是研究者们关注的重点, 如何从理论上解释元学习的 有效性, 是未来的一个重要的研究方向.

5 实验结果对比

目前小样本图像识别研究普遍使用基于 ImageNet 数据集采样得到的 mini-ImageNet[43]数据集来作为评估基 准. mini-ImageNet 数据集包含了 100 个类别的数据, 其中 64 个类别作为训练集使用, 20 个类别数据作为验证集使 用, 剩下的 16 个类别数据作为测试集使用. 表 1 统计了目前主流的小样本学习算法在 mini-ImageNet 数据集上的 实验性能. 其中基础构架一列描述了算法使用的神经网络结构; 5-way 1-shot 的实验结果代表在包含了 5 种未知 类, 每个未知类标注数据只有 1 例的情况下算法的识别准确率; 5-way 5-shot 的实验结果代表在包含了 5 种未知 类, 每个未知类标注数据只有 5 例的情况下算法的识别准确率。

6 总结和展望

在机器学习领域之中, 不同任务机器学习任务中数据集的规模和质量是限制机器学习系统性能的重要问题. 小样本图像识别任务关注在机器学习系统在数据规模较少情况下的学习问题, 解决好小样本学习问题, 于学术界可以帮助相关研究者更好的理解机器学习系统的内在机理, 于工业界可以有效的节约数据的标注成本, 因此近年 来小样本学习领域备受研究者的关注. 在本文中, 我们主要关注图像分类任务中的小样本学习问题. 首先我们形式 化的定义了图像分类任务中的小样本学习问题, 之后我们分别介绍了现有的不同种类的小样本学习模型, 包括基 于数据增强的方法, 基于迁移学习的方法, 基于度量的方法, 基于优化的方法, 基于外部记忆的方法. 最后在标准数 据集上比较了几类小样本图像识别模型的性能并进行分析. 我们基于对小样本学习领域总结的结果, 提出了几个 发展的方向.

(1) 神经网络可解释性[47] . 尽管现阶段深度学习模型在不同领域中均取得了明显的成绩, 但是神经网络本身具 有一定的黑盒性. 因此通过对于神经网络可解释性的进一步探索, 可以让研究者对于深度学习机理有更深的了解, 方便研究者根据深度学习的内在机理针对样本较少的问题做出更合理的结构上或者训练方法上的改善.

(2) 更通用的小样本学习方法. 现阶段研究者虽然开始关注更多任务中的小样本学习问题, 但是他们通常是基 于设定好的任务模式进行研究, 比如小样本研究领域广泛使用的 mini-ImageNet 数据集, 每个子任务都是采用 5-way 1-shot, 或者 5-way 5-shot 这样规范的任务设定进行数据划分的, 但是实际的小样本学习系统应该是可以处 理任意类别和任意标签数据的小样本识别问题的. 而且目前研究使用的小样本学习任务本质上都是从一个完整的 大数据集上进行数据划分得到的, 每个子任务之间仍然存在较大的关联性. 基于更加真实的小样本任务, 以及数据 组织更加宽松的数据展开研究, 是将小样本研究从理论推往实践的至关重要的一步.

(3) 增量学习问题. 目前小样本增量学习[48]已经开始被研究者所关注, 但是大部分小样本学习系统在设计的过 程中并没有考虑系统的增量学习问题. 小样本识别系统在工作的初期会面对数据不足的问题, 但是随着越来越多 的数据进入系统, 小样本识别系统所积攒的标注数据将会越来越多, 如何充分利用这些新进入的数据, 来改善和提 高当前系统的识别系统, 对于小样本学习系统的可持续性工作至关重要. 因此将增量学习的研究和小样本学习技 术结合起来, 将会有利于小样本学习技术的落地.

小样本学习领域当前仍然具有蓬勃的生机, 本文仅对于现有的图像分类任务上的小样本学习模型进行总结, 目前不同领域, 不同任务上的小样本学习问题也逐渐被研究者们所挖掘, 例如计算机视觉领域中的语义分割任 务[49] , 自然语言处理领域的关系抽取任务[50] , 以及强化学习任务, 增量学习任务. 这些任务中的小样本学习系统在 与一般系统相比较时, 性能通常存在一定的差距, 可见小样本学习领域依然有较长的一段路要走, 我们相信小样本 学习领域会收到越来越多的关注.

参考文献:

[1] El Sallab A, Abdou M, Perot E, Yogamani S. Deep reinforcement learning framework for autonomous driving. Electronic Imaging, 2017, 2017(19): 70–76. [doi: 10.2352/ISSN.2470-1173.2017.19.AVM-023]

[2] Esteva A, Robicquet A, Ramsundar B, Kuleshov V, DePristo M, Chou K, Cui C, Corrado G, Thrun S, Dean J. A guide to deep learning in healthcare. Nature Medicine, 2019, 25(1): 24–29. [doi: 10.1038/s41591-018-0316-z]

[3] Goodfellow I, Bengio Y, Courville A. Deep Learning. Cambridge: MIT Press, 2016.

[4] Vanschoren J. Meta-learning: A survey. arXiv: 1810.03548, 2018.

[5] Fort S. Gaussian prototypical networks for few-shot learning on omniglot. arXiv: 1708.02735, 2017. Zhang HY, Cisse M, Dauphin YN, Lopez-Paz D. mixup: Beyond empirical risk minimization. In: Proc. of the 6th Int ’l Conf. Paper at ICLR 2018. Vancouver, 2018.

成为VIP会员查看完整内容
0
20

相关内容

从图像中提取出有意义、有实用价值的信息。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

异常指的是罕见的观察(例如,数据记录或事件)与其他数据有显著差异。在过去的四十年中,由于异常在许多学科(如计算机科学、化学和生物学)中的重要意义,异常研究受到了极大的关注。异常检测,旨在识别这些罕见的观察,是最重要的任务之一,并已显示出它的力量,以防止有害事件,如财务欺诈和网络入侵的发生。检测任务通常是通过检测特征空间中的离群数据点来解决的,本质上忽略了真实数据中的结构信息。图被广泛用于保存结构信息,这就提出了图异常检测问题-识别异常图对象(即节点、边和子图)。然而,由于图数据的复杂性(如结构不规则、非独立和大规模),传统的异常检测技术不能很好地解决这一问题。由于深度学习在突破这些局限方面的能力,利用深度学习进行图异常检测的研究近年来得到了加强。

在这个综述中,我们的目的是提供一个系统和全面的深度学习图异常检测的综述。具体来说,我们的分类遵循任务驱动的策略,并根据现有作品能够检测到的异常图对象对其进行分类。我们特别关注现有作品的动机、关键启示和技术细节。我们还总结了开源的实现、公共数据集和常用的评估指标,以供未来研究使用。最后,根据我们的综述结果,我们强调了12个未来的研究方向,包括图数据、异常检测和实际应用引入的新问题。

引言

1969年,Grubbs[1]首次将异常或离群值定义为“明显偏离样本中其他成员的异常值”。19世纪,统计学界开始了对异常检测的研究。在大多数情况下,异常可能表现为社交垃圾邮件发送者或社交媒体中的错误信息;社交网络中的骗子、机器人往给应用领域带来巨大的破坏。

在计算机科学中,异常检测的研究可以追溯到20世纪80年代,从那时起,在图数据上检测异常就成为了一种重要的数据挖掘范式。在过去的十年中,真实对象之间的连接的爆发和图形数据挖掘的进步已经使我们对图异常检测的识别发生了革命性的变化,在过去的5年里,这个研究领域受到了极大的关注。最显著的变化之一是,图异常检测已从严重依赖人类专家的领域知识演变为机器学习技术,以消除人类干预,最近,各种深度学习技术已被采用,以更准确和实时地识别图中的潜在异常。当代越来越多的基于深度学习的图异常检测技术已经部署到很多实际应用中,包括: 财务诈骗检测、社交垃圾邮件检测、网络入侵检测、误信息检测、工业系统损害检测等,并成功减少异常损害。因此,深度学习的图异常检测作为一项前沿技术,有望在异常检测方面产生更丰硕的成果,为每个人提供更有说服力的生活保障。

异常在不同的应用领域又称异常值、异常、特性等,是指与标准、正常或预期有显著差异的异常对象。例如,社交网络中的垃圾邮件、社交媒体中的假新闻、计算机网络中的异常流量等,都是我们日常生活中众所周知的异常现象。尽管这些对象在现实世界中很少出现,但它们包含支持下游应用的关键信息。例如,欺诈者的行为为反欺诈检测提供了证据,网络异常流量为网络入侵保护提供了信号。异常现象在很多情况下也会产生一系列的负面影响,例如社交媒体上的假新闻会误导公众的注意力[2]-[4],在线评论系统中不可信的评论会影响消费者的购物选择[5]-[7],网络入侵可能会泄露私人个人信息给黑客[8]- [11],金融欺诈会对经济系统造成巨大的破坏。事实上,异常已经受到了不同学科的研究人员的极大关注,而且最近在广泛的实际应用中检测潜在异常的需求越来越大。

异常检测是一种数据挖掘过程,目的是识别数据集[15]-[17]中偏离大多数的异常模式。异常可能以异常数据记录、消息、事件、组和/或其他意外观察的形式出现。为了检测异常,传统技术更愿意代表真实世界的对象作为特征向量(例如,新闻在社会媒体被表示为bag-of-words[18],在网页和图像表示为颜色直方图[19]),然后检测外围数据点的向量空间[20]-[23],如图1所示(一个)。尽管这些技术在表格数据格式下定位偏离数据点方面表现出强大的能力,但它们本质上抛弃了对象[24]之间的复杂关系。在现实中,许多对象之间存在着丰富的关系,可以为异常检测提供有价值的互补信息。以在线社交网络为例,可以使用正常用户的有效信息创建虚假用户,也可以通过模仿良性用户的属性[25],[26]来伪装自己。因此,虚假用户和良性用户具有相同的特征,传统的异常检测技术无法仅利用特征信息进行识别。同时,虚假用户往往会与大量的良性用户建立关系,增加自己的声誉和影响力,从而获得意想不到的好处,但良性用户很少会出现[27]这样的活动。因此,这些由虚假用户形成的紧密而意外的联系表明了他们的偏差到良性的,更全面的检测技术应该考虑这些结构信息来消化异常的偏差模式。

在社会活动、电子商务、生物、学术和通信等诸多应用领域中,用图形表示结构信息已经得到了广泛的应用。具体来说,在图中,节点/顶点表示真实的对象,边表示它们的关系。利用图中包含的结构信息,检测图中的异常在非欧空间中提出了一个更为复杂的异常检测问题——图异常检测,其目的是识别异常的图对象(即节点、边或子图)[24],[34],[35]。以图1(b)为例,在给定在线社交网络的情况下,图异常检测的目的是分别识别出异常节点(即恶意用户)、异常边缘(即异常关系)和异常子图(即恶意用户组)。因此,传统的异常检测技术不能直接用于图的异常检测,因为这些异常不能在欧几里得特征空间中直接表示,近年来研究人员加强了对图异常检测的研究。

事实上,关于图异常检测的研究工作很少。在该领域的早期工作中,检测方法大量依赖于领域专家[24],[36]-[38]建立的手工特征工程或统计模型。这本质上限制了这些技术检测未知异常的能力,而且这是非常需要人力的工作。许多机器学习技术,如矩阵分解[39]和支持向量机[40],也已经被用于检测图的异常。然而,现实世界的网络往往包含数以百万计的节点和边,这导致了非常高维和大规模的数据,这些技术不能有效地处理这些数据。实际上,它们在存储和执行时间[41]上都表现出很高的计算开销。然而,它们缺乏捕捉真实对象[23]的非线性属性的能力,因此它们学习的实体表示不够表达,无法完全支持图异常检测。

为了解决这些问题,最近的研究寻求采用深度学习技术来识别异常图对象[52]-[54]的潜力。作为数据挖掘的有力工具,深度学习在数据表示和模式识别方面取得了相当的成功,因为它的深度结构很好地解决了上述传统机器学习技术在实践中遇到的问题。最近的研究,如深度图表示学习和图神经网络(GNN),进一步丰富了深度学习对图数据挖掘[58]-[61]的能力。通过提取图形异常和正常对象的表达,或者通过深度学习技术直接学习异常的偏离模式,利用深度学习进行图形异常检测是目前异常检测的前沿技术。由于异常检测和图数据挖掘的复杂性,采用深度学习技术进行图异常检测也面临着巨大的挑战[62]-[68]。因此,我们总结了这一领域的八个主要挑战,并在附录A中提供它们。

成为VIP会员查看完整内容
0
49

许多自然场景图像中都包含着丰富的文本,他们对于场景理解有着重要的作用。随着移动互联网技术的飞速发展,许多新的应用场景都需要利用这些文本信息,例如招牌识别和自动驾驶等。因此,自然场景文本的分析与处理也越来越成为计算机视觉领域的研究热点之一,该任务主要包括文本检测与识别。传统的文本检测和识别方法依赖于人工设计的特征和规则,且模型设计复杂、效率低、泛化性能差。近年来随着深度学习的发展,自然场景文本检测、自然场景文本识别以及端到端的自然场景文本检测与识别都取得了突破性的进展,其性能和效率都得到了显著提高。本文介绍了该领域相关的研究背景,对近几年基于深度学习的自然场景文本检测、识别以及端到端自然场景文本检测与识别的方法进行整理分类、归纳和总结,阐述了各类方法的基本思想和优缺点。并针对隶属于不同类别下的方法,进一步论述和分析这些主要模型的算法流程、适用场景和他们的技术发展路线。此外还列举说明了一些主流公开数据集,并对比了各个模型方法在代表性数据集上的性能情况。最后本文总结了目前不同场景数据下的自然场景文本检测、识别以及端到端自然场景文本检测与识别算法的局限性以及未来的挑战和发展趋势。

http://www.cjig.cn/jig/ch/reader/view_abstract.aspx?flag=2&file_no=202101210000003&journal_id=jig

成为VIP会员查看完整内容
0
36

摘要: 图像分类的应用场景非常广泛, 很多场景下难以收集到足够多的数据来训练模型, 利用小样本学习进行图像分类可解决训练数据量小的问题. 本文对近年来的小样本图像分类算法进行了详细综述, 根据不同的建模方式, 将现有算法分为卷积神经网络模型和图神经网络模型两大类, 其中基于卷积神经网络模型的算法包括四种学习范式: 迁移学习、元学习、对偶学习和贝叶斯学习; 基于图神经网络模型的算法原本适用于非欧几里得结构数据, 但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务, 有关的研究成果目前相对较少. 此外, 本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较. 最后, 讨论了小样本图像分类技术的难点及未来研究趋势.

成为VIP会员查看完整内容
0
58

摘要: 人脸识别是生物特征识别领域的一项关键技术,长期以来得到研究者的广泛关注。视频人脸识别任务特指从一段视频中提取出人脸的关键信息,从而完成身份识别。相较于基于图像的人脸识别任务来说,视频数据中的人脸变化模式更为多样且视频帧之间存在较大差异,如何从冗长而复杂的视频中抽取到人脸的关键特征成为当前的研究重点。以视频人脸识别技术为研究对象,首先介绍了该技术的研究价值和存在的挑战;接着对当前研究工作的发展脉络进行了系统的梳理,依据建模方式将传统基于图像集合建模的方法分为线性子空间建模、仿射子空间建模、非线性流形建模、统计建模四大类,同时对深度学习背景下基于图像融合的方法进行了介绍;另外对现有视频人脸识别数据集进行分类整理并简要介绍了常用的评价指标;最后分别采用灰度特征和深度特征在YTC数据集及IJB-A数据集上对代表性工作进行评测。实验结果表明:神经网络可以从大规模数据中提取到鲁棒的视频帧特征,从而带来识别性能的大幅提升,而有效的视频数据建模能够挖掘出人脸潜在的变化模式,从视频序列包含的大量样本中找到更具判别力的关键信息,排除噪声样本的干扰,因此基于视频的人脸识别具有广泛的通用性和实用价值。

成为VIP会员查看完整内容
0
27

深度学习在大量领域取得优异成果,但仍然存在着鲁棒性和泛化性较差、难以学习和适应未观测任务、极其依赖大规模数据等问题.近两年元学习在深度学习上的发展,为解决上述问题提供了新的视野.元学习是一种模仿生物利用先前已有的知识,从而快速学习新的未见事物能力的一种学习定式.元学习的目标是利用已学习的信息,快速适应未学习的新任务.这与实现通用人工智能的目标相契合,对元学习问题的研究也是提高模型的鲁棒性和泛化性的关键.近年来随着深度学习的发展,元学习再度成为热点,目前元学习的研究百家争鸣、百花齐放. 本文从元学习的起源出发,系统地介绍元学习的发展历史,包括元学习的由来和原始定义,然后给出当前元学习的通用定义,同时总结当前元学习一些不同方向的研究成果,包括基于度量的元学习方法、基于强泛化新的初始化参数的元学习方法、基于梯度优化器的元学习方法、基于外部记忆单元的元学方法、基于数据增强的元学方法等. 总结其共有的思想和存在的问题,对元学习的研究思想进行分类,并叙述不同方法和其相应的算法.最后论述了元学习研究中常用数据集和评判标准,并从元学习的自适应性、进化性、可解释性、连续性、可扩展性展望其未来发展趋势.

引言

随着计算设备并行计算性能的大幅度 进步,以及近些年深度神经网络在各个领域 不断取得重大突破,由深度神经网络模型衍 生而来的多个机器学习新领域也逐渐成型, 如强化学习、深度强化学习[1] [2] 、深度监督 学习等。在大量训练数据的加持下,深度神 经网络技术已经在机器翻译、机器人控制、 大数据分析、智能推送、模式识别等方面取 得巨大成果[3] [4] [5] 。

实际上在机器学习与其他行业结合的 过程中,并不是所有领域都拥有足够可以让 深度神经网络微调参数至收敛的海量数据, 相当多领域要求快速反应、快速学习,如新 兴领域之一的仿人机器人领域,其面临的现 实环境往往极为复杂且难以预测,若按照传 统机器学习方法进行训练则需要模拟所有 可能遇到的环境,工作量极大同时训练成本 极高,严重制约了机器学习在其他领域的扩 展,因此在深度学习取得大量成果后,具有 自我学习能力与强泛化性能的元学习便成 为通用人工智能的关键。

元学习(Meta-learning)提出的目的是 针对传统神经网络模型泛化性能不足、对新 种类任务适应性较差的特点。在元学习介绍 中往往将元学习的训练和测试过程类比为 人类在掌握一些基础技能后可以快速学习并适应新任务,如儿童阶段的人类也可以快 速通过一张某动物照片学会认出该动物,即 机 器 学 习 中 的 小 样 本 学 习 ( Few-shot Learning)[6] [7] ,甚至不需要图像,仅凭描 述就可学会认识新种类,对应机器学习领域 中的(Zero-shot Learning)[8] ,而不需要大 量该动物的不同照片。人类在幼儿阶段掌握 的对世界的大量基础知识和对行为模式的 认知基础便对应元学习中的“元”概念,即一 个泛化性能强的初始网络加上对新任务的 快速适应学习能力,元学习的远期目标为通 过类似人类的学习能力实现强人工智能,当 前阶段体现在对新数据集的快速适应带来 较好的准确度,因此目前元学习主要表现为 提高泛化性能、获取好的初始参数、通过少 量计算和新训练数据即可在模型上实现和 海量训练数据一样的识别准确度,近些年基 于元学习,在小样本学习领域做出了大量研 究[9] [10] [11] [12] [13] [14] [15] [16] [17] ,同时为模拟 人类认知,在 Zero-shot Learning 方向也进行 了大量探索[18] [19] [20] [21] [22] 。

在机器学习盛行之前,就已产生了元学习的相关概念。当时的元学习还停留在认知 教育科学相关领域,用于探讨更加合理的教 学方法。Gene V. Glass 在 1976 年首次提出 了“元分析”这一概念[23] ,对大量的分析结 果进行统计分析,这是一种二次分析办法。G Powell 使用“元分析”的方法对词汇记忆 进行了研究[24] ,指出“强制”和“诱导”意象有 助于词汇记忆。Donald B.Maudsley 在 1979 年首次提出了“元学习”这一概念,将其描述 为“学习者意识到并越来越多地控制他们已 经内化的感知、探究、学习和成长习惯的过 程”,Maudsley 将元学习做为在假设、结构、 变化、过程和发展这 5 个方面下的综合,并 阐述了相关基本原则[25] 。BIGGS J.B 将元学 习描述为“意识到并控制自己的学习的状 态” [26] ,即学习者对学习环境的感知。P Adey 将元学习的策略用在物理教学上[27] , Vanlehn K 探讨了辅导教学中的元学习方法 [28] 。从元分析到元学习,研究人员主要关 注人是如何意识和控制自己学习的。一个具 有高度元学习观念的学生,能够从自己采用 的学习方法所产生的结果中获得反馈信息,进一步评价自己的学习方法,更好地达到学 习目标[29] 。随后元学习这一概念慢慢渗透 到机器学习领域。P.Chan 提出的元学习是一 种整合多种学习过程的技术,利用元学习的 策略组合多个不同算法设计的分类器,其整 体的准确度优于任何个别的学习算法[30] [31] [32] 。HilanBensusan 提出了基于元学习的决 策树框架[33] 。Vilalta R 则认为元学习是通 过积累元知识动态地通过经验来改善偏倚 的一种学习算法[34] 。

Meta-Learning 目前还没有确切的定义, 一般认为一个元学习系统需结合三个要求:系统必须包含一个学习子系统;利用以前学 习中提取的元知识来获得经验,这些元知识 来自单个数据集或不同领域;动态选择学习偏差。

元学习的目的就是为了设计一种机器学习模型,这种模型有类似上面提到的人的 学习特性,即使用少量样本数据,快速学习 新的概念或技能。经过不同任务的训练后, 元学习模型能很好的适应和泛化到一个新任务,也就学会了“Learning to learn”。

成为VIP会员查看完整内容
0
123

零样本学习旨在通过运用已学到的已知类知识去认知未知类.近年来,“数据+知识驱动”已经成为当下的新潮流,而在计算机视觉领域内的零样本任务中,“知识”本身却缺乏统一明确的定义.本文针对这种情况,尝试从知识的角度出发,梳理了本领域内“知识”这一概念所覆盖的范畴,共划分为初级知识、抽象知识以及外部知识.基于前面对知识的定义和划分梳理了当前的零样本学习(主要是图像分类任务的模型)工作,分为基于初级知识的零样本模型、基于抽象知识的零样本模型以及引入外部知识的零样本模型.本文还对领域内存在的域偏移和枢纽点问题进行了阐述,并基于问题对现有工作进行了总结归纳.最后总结了目前常用的图像分类任务的数据集和知识库,图像分类实验评估标准以及代表性的模型实验结果;并对未来工作进行了展望.

http://www.jos.org.cn/jos/ch/reader/view_abstract.aspx?file_no=6146&flag=1

成为VIP会员查看完整内容
0
31

小样本学习旨在通过少量样本学习到解决问题的模型.近年来在大数据训练模型的趋势下,机器学习和深度学习在许多领域中取得了成功.但是在现实世界中的很多应用场景中,样本量很少或者标注样本很少,而对大量无标签样本进行标注工作将会耗费很大的人力.所以,如何用少量样本进行学习就成为了目前人们需要关注的问题.本文系统梳理了当前小样本学习的相关工作,具体介绍了基于模型微调、基于数据增强和基于迁移学习三大类小样本学习模型与算法的研究进展;本文将基于数据增强的方法细分为基于无标签数据、基于数据合成和基于特征增强三类,将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络三类.本文还总结了目前常用的小样本数据集,以及代表性的小样本学习模型在这些数据集上的实验结果,随后对小样本学习的现状和挑战进行了概述,最后展望了小样本学习的未来发展方向.

http://www.jos.org.cn/jos/ch/reader/create_pdf.aspx?file_no=6138&journal_id=jos

随着大数据时代的到来,深度学习模型已经在图像分类、文本分类等任务中取得了先进成果.但深度学习模型的成功很大程度 上依赖于大量训练数据,而在现实世界的真实场景中某些类别只有少量数据或少量标注数据,而对无标签数据进行标注将会消耗 大量的时间和人力.与此相反,人类只需要通过少量数据就能做到快速学习.例如一个五六岁的小孩子从未见过企鹅,但如果给他看 过一张企鹅的图像,当他进入动物园看到真正的企鹅时,就会马上认出这是自己曾经在图像上见过的“企鹅”,这就是机器学习和人类学习之间存在的差距.受到人类学习观点的启发[1],小样本学习[2] [3](few-shot learning)的概念被提出,使得机器学习更加靠近人类思维.

早在 20 世纪八九十年代,就有一些研究人员注意到了单样本学习(one-shot learning)的问题,直到 2003 年 Li 等[4]才正式提出了 单样本学习的概念.他们认为当新的类别只有一个或几个带标签的样本时,已经学习到的旧类别可以帮助预测新类别[5].小样本学 习也叫作少样本学习(low-shot learning) [7],其目标是从少量样本中学习到解决问题的方法.与小样本学习相关的概念还有零样本学 习(zero-shot learning)等.零样本学习是指在没有训练数据的情况下,利用类别的属性等信息训练模型,从而识别新类别.

小样本学习的概念最早从计算机视觉(Computer Vision) [8]领域兴起,近几年受到广泛关注,在图像分类任务中已有很多性能优 异的算法模型[34][37][45].但是在自然语言处理领域(Natural Language Processing) [9]的发展较为缓慢,原因在于图像和语言特性不同.图 像相比文本更为客观,所以当样本数量较少时,图像的特征提取比文本更加容易[87].不过近年来小样本学习在自然语言处理领域也 有了一些研究和发展[10][46][48].根据所采用方法的不同,本文将小样本学习分为基于模型微调、基于数据增强和基于迁移学习三种. 基于模型微调的方法首先在含有大量数据的源数据集上训练一个分类模型,然后在含有少量数据的目标数据集上对模型进行微 调.但这种做法可能导致模型过拟合,因为少量数据并不能很好地反映大量数据的真实分布情况.为解决上述过拟合的问题,基于数 据增强和基于迁移学习的小样本学习方法被提出.基于数据增强的方法是利用辅助数据集或者辅助信息增强目标数据集中样本的 特征或扩充对目标数据集,使模型能更好地提取特征.本文根据学习方法不同,将基于数据增强的小样本学习方法进一步细分为基 于无标签数据、基于数据合成和基于特征增强三类方法.基于迁移学习的方法是目前比较前沿的方法,是指将已经学会的知识迁移 到一个新的领域中.本文根据学习框架将基于迁移学习的方法细分为基于度量学习、基于元学习和基于图神经网络(Graph Neural Networks)的方法.在度量学习的框架下目前已有许多性能较好的小样本学习模型,例如比较著名的原型网络(Prototypical Networks) [34]和匹配网络(Matching Networks) [31]等.基于元学习的方法不仅在目标任务上训练模型,而是从许多不同的任务中学习 元知识,当一个新的任务到来时,利用元知识调整模型参数,使模型能够快速收敛.近年来随着图神经网络的兴起,研究者将图神经网 络也应用到小样本学习中,取得了先进的结果.

除了图像分类和文本分类这两个主要任务,许多其他任务也面临着小样本问题.在计算机视觉应用中,利用小样本学习进行人脸识别[8][60][82]、食品识别[61]、表情识别[66]、手写字体识别[70][79]以及其他的图像识别[65]. 在自然语言处理应用中,使用小样本方法 实现对话系统[67]、口语理解[62],或者完成 NLP 的基本任务,例如 word embedding[63].在多媒体领域应用中,可以使用小样本方法实现 影像提取[73]和声纹识别[80]等.在生物与医学领域,可以应用于疾病诊断[71][72]、临床实验[84]、护士能力评价[75]、农作物病害识别[69][81]、 水量分析[76]等.在经济领域,可应用于产品销量预测[77]等.在工业与军事领域,可应用于齿轮泵寿命预测[78]、军事目标识别[74]和目标 威胁评估[83]等.

本文首先从基于模型微调、基于数据增强和基于迁移学习三种方法介绍小样本学习的研究进展,总结小样本学习的几个著名数据集以及已有模型在这些数据集上的实验结果;接下来,本文对小样本学习的研究现状和主要挑战进行总结;最后展望了未来的 发展趋势.

成为VIP会员查看完整内容
0
147

摘要:图像分类的应用场景非常广泛,很多场景下难以收集到足够多的数据来训练模型,利用小样本学习进行图像分类可解决训练数据量小的问题.本文对近年来的小样本图像分类算法进行了详细综述,根据不同的建模方式,将现有算法分为卷积神经网络模型和图神经网络模型两大类,其中基于卷积神经网络模型的算法包括四种学习范式:迁移学习、元学习、对偶学习和贝叶斯学习;基于图神经网络模型的算法原本适用于非欧几里得结构数据,但有部分学者将其应用于解决小样本下欧几里得数据的图像分类任务,有关的研究成果目前相对较少.此外,本文汇总了现有文献中出现的数据集并通过实验结果对现有算法的性能进行了比较.最后,讨论了小样本图像分类技术的难点及未来研究趋势.

成为VIP会员查看完整内容
0
111

最近深度神经网络已经在监督识别任务上取得了令人振奋的突破,但是深度神经网络要求每个类都有足够 多的且完全标注的训练数据。如何从少数训练样本中学习并识别新的类别,对于深度神经网络来说是一个具有挑战性的问题。针对如何解决少样本学习的问题,全面总结了现有的基于深度神经网络的少样本学习方法,涵盖了方法 所用模型、数据集及评估结果等各个方面。具体地,针对基于深度神经网络的少样本学习方法,提出将其分为四种 类别,即数据增强方法、迁移学习方法、度量学习方法和元学习的方法;对于每个类别,进一步将其分为几个子类 别,并且在每个类别与方法之间进行一系列比较,以显示各种方法的优劣和各自的特点。最后,强调了现有方法的局限性,并指出了少样本学习研究领域的未来研究方向。

成为VIP会员查看完整内容
0
125

基于神经网络的深度学习方法往往需要大量标注样本,而在很多领域往往是缺乏充足样本数据的,比如在医疗领域,高质量的医疗影像大数据样本很难获取,且人工标注成本较高。因此,亟待研究基于小样本数据集或弱标签标注的机器学习方法。最近,齐国君和罗杰波两位知名学者在ArXiv发布了关于小样本数据集的无监督与半监督学习综述论文,12页103篇参考文献,详细阐述了最新进展。

成为VIP会员查看完整内容
Small Data Challenges in Big Data Era A Survey of Recent Progress on Unsupervised and Semi-Supervised Methods.pdf
0
103
小贴士
相关VIP内容
专知会员服务
49+阅读 · 2021年6月23日
专知会员服务
36+阅读 · 2021年3月19日
专知会员服务
58+阅读 · 2021年3月15日
专知会员服务
27+阅读 · 2021年3月12日
专知会员服务
123+阅读 · 2021年2月4日
专知会员服务
31+阅读 · 2020年12月26日
专知会员服务
147+阅读 · 2020年12月5日
专知会员服务
111+阅读 · 2020年5月6日
专知会员服务
125+阅读 · 2020年4月22日
相关资讯
图像修复研究进展综述
专知
6+阅读 · 2021年3月9日
异常检测(Anomaly Detection)综述
极市平台
12+阅读 · 2020年10月24日
基于小样本学习的图像分类技术综述
专知
3+阅读 · 2020年5月6日
零样本图像识别综述论文
专知
20+阅读 · 2020年4月4日
二值神经网络(Binary Neural Networks)最新综述
PaperWeekly
3+阅读 · 2020年3月12日
最新图文识别技术综述
计算机视觉life
3+阅读 · 2019年12月14日
综述 | 聚焦深度学习的人脸年龄估计
中国图象图形学报
3+阅读 · 2019年8月30日
人脸识别研究取得进展
中科院之声
4+阅读 · 2019年3月26日
相关论文
Zheyuan Ryan Shi,Zhiwei Steven Wu,Rayid Ghani,Fei Fang
0+阅读 · 1月14日
MCUNetV2: Memory-Efficient Patch-based Inference for Tiny Deep Learning
Ji Lin,Wei-Ming Chen,Han Cai,Chuang Gan,Song Han
3+阅读 · 2021年10月28日
Lixin Zou,Shengqiang Zhang,Hengyi Cai,Dehong Ma,Suqi Cheng,Daiting Shi,Zhifan Zhu,Weiyue Su,Shuaiqiang Wang,Zhicong Cheng,Dawei Yin
7+阅读 · 2021年6月25日
AdarGCN: Adaptive Aggregation GCN for Few-Shot Learning
Jianhong Zhang,Manli Zhang,Zhiwu Lu,Tao Xiang,Jirong Wen
4+阅读 · 2020年3月9日
Chris Alberti,Kenton Lee,Michael Collins
7+阅读 · 2019年3月21日
Deep Face Recognition: A Survey
Mei Wang,Weihong Deng
13+阅读 · 2019年2月12日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Matthias Müller,Adel Bibi,Silvio Giancola,Salman Al-Subaihi,Bernard Ghanem
5+阅读 · 2018年3月28日
Dan Xu,Xavier Alameda-Pineda,Jingkuan Song,Elisa Ricci,Nicu Sebe
7+阅读 · 2018年3月5日
K M Annervaz,Somnath Basu Roy Chowdhury,Ambedkar Dukkipati
10+阅读 · 2018年2月16日
Top
微信扫码咨询专知VIP会员