【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
167

相关内容

Meta Learning,元学习,也叫 Learning to Learn(学会学习)。是继Reinforcement Learning(增强学习)之后又一个重要的研究分支。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

本文综述了元学习在图像分类、自然语言处理和机器人技术等领域的应用。与深度学习不同,元学习使用较少的样本数据集,并考虑进一步改进模型泛化以获得更高的预测精度。我们将元学习模型归纳为三类: 黑箱适应模型、基于相似度的方法模型和元学习过程模型。最近的应用集中在将元学习与贝叶斯深度学习和强化学习相结合,以提供可行的集成问题解决方案。介绍了元学习方法的性能比较,并讨论了今后的研究方向。

成为VIP会员查看完整内容
0
189

【导读】现有的机器学习方法在很多场景下需要依赖大量的训练样本。但机器学习方法是否可以模仿人类,基于先验知识等,只基于少量的样本就可以进行学习。本文介绍34页小样本学习综述《Generalizing from a Few Examples: A Survey on Few-Shot Learning》,包含166篇参考文献,来自第四范式和香港科技大学习的研究学者。

小样本学习综述 Few-shot Learning: A Survey

【摘要】机器学习在数据密集型应用中非常成功,但当数据集很小时,它常常受到阻碍。为了解决这一问题,近年来提出了小样本学习(FSL)。利用先验知识,FSL可以快速地泛化到只包含少量有监督信息的样本的新任务中。在这篇论文中,我们进行了一个彻底的调研,以充分了解FSL。从FSL的正式定义出发,我们将FSL与几个相关的机器学习问题区分开来。然后指出了FSL的核心问题是经验风险最小化是不可靠的。基于先验知识如何处理这一核心问题,我们从三个角度对FSL方法进行了分类: (i) 数据,它使用先验知识来增加监督经验;(二) 利用先验知识缩小假设空间大小的模型;(iii)算法,利用先验知识在给定的假设空间中改变对最佳假设的搜索。有了这种分类法,我们就可以回顾和讨论每个类别的优缺点。在FSL问题的设置、技术、应用和理论方面也提出了有前景的方向,为未来的研究提供了见解。

  • 我们给出了FSL的形式化定义。它可以自然地链接到以往文献中提出的经典机器学习定义。这个定义不仅足够概括,包括所有现有的FSL -shot Learning: A Survey problems,而且足够具体,明确了什么是FSL的目标,以及我们如何解决它。这一定义有助于确定未来FSL领域的研究目标。

  • 指出了基于误差分解的FSL在机器学习中的核心问题。我们发现,正是不可靠的经验风险最小化使得FSL难以学习。这可以通过满足或降低学习的样本复杂度来缓解。理解核心问题有助于根据解决核心问题的方式将不同的工作分类为数据、模型和算法。更重要的是,这为更有组织和系统地改进FSL方法提供了见解。

  • 我们对从FSL诞生到最近发表的文献进行了广泛的回顾,并将它们进行了统一的分类。对不同类别的优缺点进行了深入的讨论。我们还对每个类别下的见解进行了总结。这对于初学者和有经验的研究人员都是一个很好的指导方针。

  • 我们在问题设置、技术、应用和理论方面展望了FSL未来的四个发展方向。这些见解都是基于当前FSL发展的不足之处,并有可能在未来进行探索。我们希望这部分能够提供一些见解,为解决FSL问题做出贡献,为真正的AI而努力。

  • 与已有的关于小样本概念学习和经验学习的FSL相关调相比,我们给出了什么是FSL,为什么FSL很难,以及FSL如何将小样本监督信息与先验知识结合起来使学习成为可能的正式定义。我们进行了广泛的文献审查的基础上提出的分类法与详细讨论的利弊,总结和见解。我们还讨论了FSL与半监督学习、不平衡学习、迁移学习和元学习等相关话题之间的联系和区别

成为VIP会员查看完整内容
0
155

题目: Meta-Learning in Neural Networks: A Survey

简介: 近年来,元学习领域的兴趣急剧上升。与使用固定学习算法从头解决给定任务的传统AI方法相反,元学习旨在根据多次学习事件的经验来改善学习算法本身。这种范例为解决深度学习的许多传统挑战提供了机会,包括数据和计算瓶颈以及泛化的基本问题。在本次调查中,我们描述了当代的元学习环境。我们首先讨论元学习的定义,并将其相对于相关领域(例如转移学习,多任务学习和超参数优化)进行定位。然后,我们提出了一种新的分类法,该分类法为当今的元学习方法提供了更为全面的细分。我们调查了元学习的有希望的应用程序和成功案例,包括,强化学习和架构搜索。最后,我们讨论了未来研究的突出挑战和有希望的领域。

成为VIP会员查看完整内容
0
64

人工智能(AI)的成功应该在很大程度上归功于丰富数据的可获得性。然而,实际情况并非如此,行业中的开发人员常常面临数据不足、不完整和孤立的情况。因此,联邦学习被提议通过允许多方在不显式共享数据的情况下协作构建机器学习模型,同时保护数据隐私,来缓解这种挑战。然而,现有的联邦学习算法主要集中在数据不需要显式标记或者所有数据都有标记的情况下。然而在现实中,我们经常会遇到这样的情况,标签数据本身是昂贵的,没有足够的标签数据供应。虽然这类问题通常通过半监督学习来解决,但据我们所知,联邦半监督学习还没有投入任何努力。在这项调查中,我们简要地总结了目前流行的半监督算法,并对联邦半监督学习做了简要的展望,包括可能的方法、设置和挑战。

成为VIP会员查看完整内容
0
53

持续的终身学习需要一个代理或模型学习许多按顺序排列的任务,建立在以前的知识上而不是灾难性地忘记它。许多工作都是为了防止机器学习模型的默认趋势灾难性地遗忘,但实际上所有这些工作都涉及到手工设计的问题解决方案。我们主张元学习是一种解决灾难性遗忘的方法,允许人工智能不断学习。受大脑神经调节过程的启发,我们提出了一种神经调节元学习算法(ANML)。它通过一个连续的学习过程来区分元学习一个激活门控功能,使上下文相关的选择激活在深度神经网络中成为可能。具体地说,一个神经调节(NM)神经网络控制另一个(正常的)神经网络的前向通道,称为预测学习网络(PLN)。NM网络也因此间接地控制PLN的选择性可塑性(即PLN的后向通径)。ANML支持持续学习而不会出现大规模的灾难性遗忘:它提供了最先进的连续学习性能,连续学习多达600个类(超过9000个SGD更新)。

成为VIP会员查看完整内容
0
26

简介: 在许多将数据表示为图形的领域中,学习图形之间的相似性度量标准被认为是一个关键问题,它可以进一步促进各种学习任务,例如分类,聚类和相似性搜索。 最近,人们对深度图相似性学习越来越感兴趣,其中的主要思想是学习一种深度学习模型,该模型将输入图映射到目标空间,以使目标空间中的距离近似于输入空间中的结构距离。 在这里,我们提供对深度图相似性学习的现有文献的全面回顾。 我们为方法和应用提出了系统的分类法。 最后,我们讨论该问题的挑战和未来方向。

在特征空间上学习足够的相似性度量可以显着确定机器学习方法的性能。从数据自动学习此类度量是相似性学习的主要目的。相似度/度量学习是指学习一种功能以测量对象之间的距离或相似度,这是许多机器学习问题(例如分类,聚类,排名等)中的关键步骤。例如,在k最近邻(kNN)中分类[25],需要一个度量来测量数据点之间的距离并识别最近的邻居;在许多聚类算法中,数据点之间的相似性度量用于确定聚类。尽管有一些通用度量标准(例如欧几里得距离)可用于获取表示为矢量的对象之间的相似性度量,但是这些度量标准通常无法捕获正在研究的数据的特定特征,尤其是对于结构化数据。因此,找到或学习一种度量以测量特定任务中涉及的数据点的相似性至关重要。

成为VIP会员查看完整内容
0
74

论文摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域中的学习性能。这样可以减少对大量目标域数据的依赖,从而构建目标学习者。由于其广泛的应用前景,转移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本研究试图将已有的迁移学习研究进行梳理和梳理,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的研究不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20个有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即,亚马逊评论,路透社-21578,Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。

关键词:迁移学习 机器学习 域适应 可解释性

成为VIP会员查看完整内容
0
61
小贴士
相关论文
Liang Chen,Jintang Li,Jiaying Peng,Tao Xie,Zengxu Cao,Kun Xu,Xiangnan He,Zibin Zheng
33+阅读 · 2020年3月10日
Few-shot Learning: A Survey
Yaqing Wang,Quanming Yao
325+阅读 · 2019年4月10日
One-Shot Federated Learning
Neel Guha,Ameet Talwalkar,Virginia Smith
7+阅读 · 2019年3月5日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
8+阅读 · 2019年1月16日
Tuomas Haarnoja,Aurick Zhou,Sehoon Ha,Jie Tan,George Tucker,Sergey Levine
6+阅读 · 2018年12月26日
Ziwei Zhang,Peng Cui,Wenwu Zhu
40+阅读 · 2018年12月11日
Meta-Transfer Learning for Few-Shot Learning
Qianru Sun,Yaoyao Liu,Tat-Seng Chua,Bernt Schiele
6+阅读 · 2018年12月6日
Joaquin Vanschoren
115+阅读 · 2018年10月8日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Top