【爱丁堡大学】最新《元学习meta learning)》2020综述论文大全，20页pdf299篇参考文献

2020 年 11 月 14 日 专知

【导读】元学习旨在学会学习，是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》，值得关注，详述了元学习体系，包括定义、方法、应用、挑战，成为不可缺少的文献。

近年来，元学习领域，或者说“学会学习的学习”，引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同，元学习的目的是改进学习算法本身，考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战，包括数据和计算瓶颈，以及泛化的基本问题。在这项综述中，我们描述了当代元学习的景观。我们首先讨论元学习的定义，并将其定位于相关领域，如迁移学习、多任务学习和超参数优化。然后，我们提出了一个新的分类法，对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例，包括小样本学习、强化学习和体系架构搜索。最后，我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法，针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如，成功主要是在可以收集或模拟大量数据的领域，以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5]，或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式，机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处，如数据和计算效率，它更适合人类和动物的学习[9]，其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型，而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16]，为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而，它作为推动当代深度学习行业前沿的潜力，导致了最近研究的爆炸性增长。特别是，元学习有可能缓解当代深度学习[4]的许多主要批评，例如，通过提供更好的数据效率，利用先验知识转移，以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同，所以很难定义它。与我们[29]相关的观点认为，元学习是管理“没有免费午餐”定理[30]的工具，并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而，从广义上来说，这个定义可以包括迁移、多任务、特征选择和模型集成学习，这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术，并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中，我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索，但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此，本文提供了一个独特的，及时的，最新的调查神经网络元学习领域的快速增长。相比之下，在这个快速发展的领域，以往的研究已经相当过时，或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择，或者元学习的特定应用，如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是，我们首先提供了一个高层次的问题形式化，它可以用来理解和定位最近的工作。然后，我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域，包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后，我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战：

元泛化 元学习在不同任务之间面临着泛化的挑战，这与传统机器学习中在不同实例之间进行泛化的挑战类似。
任务分布的多模态特性
任务族
计算代价
跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱，比如它如何与邻近的字段相关联，它可以应用到什么地方，以及如何对它进行基准测试。在这次综述中，我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己，并强调未来研究的机会。

论文视图