机器也能学会如何学习?——元学习介绍

2019 年 9 月 22 日 AINLP
机器也能学会如何学习?——元学习介绍

本文作者王健宗,特此修正。 MetaLearning,简称元学习,是机器学习的一个子领域。它将自动学习算法应用到机器学习实践用到的元数据中,它的主要目标是使用元数据来了解元学习,并且通过提高现有的学习算法的性能或者学习学习算法本身,灵活地解决学习问题。

基本介绍

元学习的思想是学习学习训练的过程,旨在设计能够通过训练一些实例来快速学习新技能或适应新环境的模型。通常有三种方式:1)学习一个有效的距离度量标准(metric-based)2)使用具有外部存储或者内部存储的网络(model-based); 3) 明确优化模型参数以进行快速学习(optimization-based)


元学习起源于认知科学领域,最早可以追溯到1979年。在John Biggs1985)的著作中可以找到一个较为简单的定义,他将元学习定义为意识到并控制自己的学习


在人工智能系统的背景下,元学习可以简单地定义为获取知识多样性(knowledge versatility)的能力。作为人类,我们能够以最少的信息同时快速完成多个任务;例如人类在有了世界的概念之后,看一张图片就能学会识别一种物体,而不需要想神经网络一样一切都得从头训练;又例如在学会了骑自行车之后,可以基本在很短时间里无障碍地学会骑电动车。


目前的AI系统擅长掌握单一技能,例如GoJeopardy甚至直升机特技飞行。但是,当你要求AI系统做各种简单但各略有不同的问题时,它会很困难。相比之下,人类可以智能地行动和适应各种新的情况。


元学习要解决的就是这样的问题: 设计出拥有获取知识多样性能力的机器学习模型,它可以在基于过去的经验与知识下,通过少量的训练样本快速学会新概念和技能。


我们期望一个良好的元学习模型能够很好地适应或推广到在训练期间从未遇到过的新任务和新环境。对新任务的适应过程,实质上是一个mini learning session,这个过程只需要少量的训练就可以快速完成。最终,适应后的模型可以完成新任务。这就是为什么元学习也被称为learning to learn的原因。


以下为几个经典的元学习任务场景:


1) 在非猫图像上训练的分类器可以在看到一些猫图片之后判断给定图像是否包含猫

2) 游戏机器人能够快速掌握新游戏

3) 迷你机器人在测试期间在上坡路面上完成所需的任务,即使它仅在平坦的表面环境中训练


元学习系统通常有如下定义:

1)   该系统必须包括一个子学习系统;

2)   经验是利用提取的元知识获得的;

3)   只学习之前学习中单个或不同领域的数据集;

4)   要动态的控制学习误差。


经典案例

一个好的元学习模型应该在各种学习任务上进行训练,并对所有的任务进行优化,包括可能潜在的不可见任务上。对于分类任务而言,每个任务都与一个数据集D相关联,D包含特征向量和真实标签。


少样本分类问题是元学习在监督学习领域中的实例。数据集通常分为两部分,一套用于学习的数据集S和一套用于训练或测试的数据集B。在应用场景上通常考虑将少样本分类问题定义为"K样本-N类别"分类任务:对于N个类中的每个类,数据集包含每个类别的K个标记示例。具体理解参考下图:


14-1 4样本-2分类案例


上图有3个框框,每一个框框是一个数据样本,大量的数据样本构建成了一个数据集,这点跟传统监督学习的数据集意义不太像。


每一个数据包含两种标签, 标签间不具有相关性,随机抽样而成的,所以花跟自行车会放在一起;4 shot是指每个标签都只有4个样本,这跟我们的训练目地一致:小样本下的快速学习;最终我们希望通过训练得到一个模型,在测试的时候可以只通过8个样本的小样本训练就可以完成狗和海獭的分类。


整个过程包含同一个模型两个阶段的训练。


一个是基于训练数据样本的元模型训练,一个是基于测试数据样本的基于特定任务的泛化模型训练。


我们希望利用训练的数据样本来拟合一个具有强泛化能力的元模型,这个模型可以在没见过测试数据样本上仅用8张图片进行泛化就能快速得到一个高质量的分类器。


具体怎么构造实现这个元模型的训练,有很多种不同的方法,如孪生网络,匹配网络,原型网络,图网络等。


深入了解元学习

通过以上的定义,我们会发现元学习与多任务学习以及迁移学习有非常相似的地方;从适应新任务的角度看,像是多任务学习;从利用过去信息的角度看,又像迁移学习。


l元学习模型的泛化不依赖于数据量。迁移学习的微调阶段还是需要大量的数据去喂模型的,不然效果会很差。而元学习要做到的是,在新的任务上只用很少量的样本就可以完成学习,看一眼就可以学会。从这个角度看,迁移学习可以理解为元学习的一种效率较低的实现方式。


l元学习实现是无限制的任务级别的泛化。多任务学习是基于多个不同的任务同时进行损失函数优化,它的学习范围只限定在这几个不同的任务里,它不具有学习的特性。而元学习是要基于大量的同类任务(如图像分类任务)去学习到一个模型,这个模型可以有效泛化到所有图像分类任务上。


元学习从结合角度来看,可以分成三大块:监督学习[4]、无监督学习[5][25]和强化学习[6]。在监督元学习中,最长碰到的就是Few Shot Learning[7]问题,也就是我们常说的少样本学习问题。


元监督学习在少样本分类问题中注重于算法[10],通过学习算法的参数话模型和训练集合的定义来代表不同的分类问题,每个样本都有一个小标记训练集和测试集。



14-2  元强化学习


元强化学习的流程图如图14-2所示,在元强化学习的应用中,最著名的例子是Deep Mind在探索多巴胺在人脑中的地位,并据此提出了强化学习模型未来的发展思路。该研究中使用AI来探索大脑中的多巴胺所发挥的帮助学习的作用。通过这项研究,Deep Mind使用元强化学习(meta-RL)算法,指出多巴胺的作用不仅仅是奖励对过去行为的学习,它发挥的是整体作用,特别是在前额叶区域,它使我们能高效地学习新知识、执行新任务——而不需要像深度学习算法那样,依赖大量数据进行训练。运用元强化学习(meta-RL)算法[12]能真正帮助人类解决各种类型的问题,而不只是执行某个特定任务,这将使得AI真正适用到人们的生活、工作中。以AI机器人将来或走进千家万户为例,每个人对AI机器人的要求是不同的,每个家庭的环境也并不相同,如果AI机器人运用元强化学习(meta-RL),不需要长时间的学习就能快速灵活的适应各种需求。


而对于无监督元学习,针对的是以下任务:

1)使用无标签样本来学习一个好的特征表达;

2)利用这个特征表达在少样本学习问题上取得好的效果;


这样的设计是很合理的,因为无监督学习的最终目标是要在特定任务上取得比较好的效果。传统的无监督学习方法比如VAE[9],通过训练神经网络得到一些特征表达,但是却无法直接说明VAE[9]的这套学习方式是直接对特定任务有利。举一个的例子:image captioning图像标注问题,一开始是使用监督学习来训练神经网络,但是采用的是人为设计的评价指标来评价效果的好坏,这种情况下监督学习和评价指标没有直接联系。所以近年来image captioning就采用增强学习的方法,基于评价指标来改进网络的效果,这就有了直接联系。


元学习应用的发展

在机器学习领域,DeepMind的一个研讨会课件给出了如下的一个总结,元学习的模型通常包括基于模型的方法、基于度量的方法和基于最优的方法,如图14-3所示。

14-3  元学习模型分类方法分类


在应用上元学习涉及到方方面面,包括图像领域的少样本学习,还有在强化学习领域的元强化学习;在GAN[12]领域也有相关的应用。


元学习领域涌现出很多意义重大的研究。随着研究界对元学习的理解整体得到提升,传统的随机梯度下降法(SGD[14]将被边缘化,转向更有效的方法,将更具爆发性和探索性的搜索方法结合起来。


元学习互联网的普及与发展使得网络上主观性文本如产品、新闻、社会事件的评论等大量出现[10],使用元学习和机器学习相结合的模型,很大程度上缩减了深度学习网络的训练时间,并且能够较大幅度的提高模型分类的准确度。


文章摘自:《深入理解AutoMLAutoDL》机械工业出版社.2019.9


登录查看更多
15

相关内容

Meta Learning,元学习,也叫 Learning to Learn(学会学习)。是继Reinforcement Learning(增强学习)之后又一个重要的研究分支。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】元学习旨在学会学习,是当下研究热点之一。最近来自爱丁堡大学的学者发布了关于元学习最新综述论文《Meta-Learning in Neural Networks: A Survey》,值得关注,详述了元学习体系,包括定义、方法、应用、挑战,成为不可缺少的文献。

近年来,元学习领域,或者说“学会学习的学习”,引起了人们极大的兴趣。与传统的人工智能方法(使用固定的学习算法从头开始解决给定的任务)不同,元学习的目的是改进学习算法本身,考虑到多次学习的经验。这个范例提供了一个机会来解决深度学习的许多传统挑战,包括数据和计算瓶颈,以及泛化的基本问题。在这项综述中,我们描述了当代元学习的景观。我们首先讨论元学习的定义,并将其定位于相关领域,如迁移学习、多任务学习和超参数优化。然后,我们提出了一个新的分类法,对元学习方法的空间进行了更全面的细分。我们综述了元学习的一些有前途的应用和成功案例,包括小样本学习、强化学习和体系架构搜索。最后,我们讨论了突出的挑战和未来研究的有希望的领域。

https://arxiv.org/abs/2004.05439

概述

现代机器学习模型通常是使用手工设计的固定学习算法,针对特定任务从零开始进行训练。基于深度学习的方法在许多领域都取得了巨大的成功[1,2,3]。但是有明显的局限性[4]。例如,成功主要是在可以收集或模拟大量数据的领域,以及在可以使用大量计算资源的领域。这排除了许多数据本质上是稀有或昂贵的[5],或者计算资源不可用的应用程序[6,7]。

元学习提供了另一种范式,机器学习模型可以在多个学习阶段获得经验——通常覆盖相关任务的分布——并使用这些经验来改进未来的学习性能。这种“学会学习”[8]可以带来各种好处,如数据和计算效率,它更适合人类和动物的学习[9],其中学习策略在一生和进化时间尺度上都得到改善[10,9,11]。机器学习在历史上是建立在手工设计的特征上的模型,而特征的选择往往是最终模型性能的决定因素[12,13,14]。深度学习实现了联合特征和模型学习的承诺[15,16],为许多任务提供了巨大的性能改进[1,3]。神经网络中的元学习可以看作是集成联合特征、模型和算法学习的下一步。神经网络元学习有着悠久的历史[17,18,8]。然而,它作为推动当代深度学习行业前沿的潜力,导致了最近研究的爆炸性增长。特别是,元学习有可能缓解当代深度学习[4]的许多主要批评,例如,通过提供更好的数据效率,利用先验知识转移,以及支持无监督和自主学习。成功的应用领域包括:小样本图像识别[19,20]、无监督学习[21]、数据高效[22,23]、自导向[24]强化学习(RL)、超参数优化[25]和神经结构搜索(NAS)[26, 27, 28]。

在文献中可以找到许多关于元学习的不同观点。特别是由于不同的社区对这个术语的使用略有不同,所以很难定义它。与我们[29]相关的观点认为,元学习是管理“没有免费午餐”定理[30]的工具,并通过搜索最适合给定问题或问题族的算法(归纳偏差)来改进泛化。然而,从广义上来说,这个定义可以包括迁移、多任务、特征选择和模型集成学习,这些在今天通常不被认为是元学习。另一个关于元学习[31]的观点广泛地涵盖了基于数据集特性的算法选择和配置技术,并且很难与自动机器学习(AutoML)[32]区分开来。在这篇论文中,我们关注当代的神经网络元学习。我们将其理解为算法或归纳偏差搜索,但重点是通过端到端学习明确定义的目标函数(如交叉熵损失、准确性或速度)来实现的。

因此,本文提供了一个独特的,及时的,最新的调查神经网络元学习领域的快速增长。相比之下,在这个快速发展的领域,以往的研究已经相当过时,或者关注于数据挖掘[29、33、34、35、36、37、31]、自动[32]的算法选择,或者元学习的特定应用,如小样本学习[38]或神经架构搜索[39]。

我们讨论元学习方法和应用。特别是,我们首先提供了一个高层次的问题形式化,它可以用来理解和定位最近的工作。然后,我们在元表示、元目标和元优化器方面提供了一种新的方法分类。我们调查了几个流行和新兴的应用领域,包括少镜头、强化学习和架构搜索;并对相关的话题如迁移学习、多任务学习和自动学习进行元学习定位。最后,我们讨论了尚未解决的挑战和未来研究的领域。

未来挑战:

-元泛化 元学习在不同任务之间面临着泛化的挑战,这与传统机器学习中在不同实例之间进行泛化的挑战类似。

  • 任务分布的多模态特性
  • 任务族
  • 计算代价
  • 跨模态迁移和异构任务

总结

元学习领域最近出现了快速增长的兴趣。这带来了一定程度的混乱,比如它如何与邻近的字段相关联,它可以应用到什么地方,以及如何对它进行基准测试。在这次综述中,我们试图通过从方法学的角度对这一领域进行彻底的调查来澄清这些问题——我们将其分为元表示、元优化器和元目标的分类;从应用的角度来看。我们希望这项调查将有助于新人和实践者在这个不断增长的领域中定位自己,并强调未来研究的机会。

成为VIP会员查看完整内容
0
174
小贴士
相关资讯
VALSE Webinar 19-01期 元学习专题研讨
VALSE
12+阅读 · 2018年12月27日
Meta-Learning 元学习:学会快速学习
专知
23+阅读 · 2018年12月8日
深度网络自我学习,最终实现更少样本的学习
计算机视觉战队
11+阅读 · 2018年7月30日
入门 | 从零开始,了解元学习
机器之心
15+阅读 · 2018年5月6日
学习如何学习的算法:简述元学习研究方向现状
深度学习世界
5+阅读 · 2018年4月9日
独家 | 一文读懂TensorFlow(附代码、学习资料)
数据派THU
3+阅读 · 2017年10月12日
已删除
将门创投
8+阅读 · 2017年7月21日
相关VIP内容
专知会员服务
64+阅读 · 2020年6月9日
专知会员服务
122+阅读 · 2020年5月29日
专知会员服务
197+阅读 · 2020年5月8日
专知会员服务
165+阅读 · 2020年4月19日
专知会员服务
26+阅读 · 2020年3月30日
相关论文
Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning
Tianhe Yu,Deirdre Quillen,Zhanpeng He,Ryan Julian,Karol Hausman,Chelsea Finn,Sergey Levine
28+阅读 · 2019年10月24日
Yingtian Zou,Jiashi Feng
7+阅读 · 2019年4月19日
Yu Cheng,Mo Yu,Xiaoxiao Guo,Bowen Zhou
12+阅读 · 2019年1月26日
Logically-Constrained Reinforcement Learning
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
3+阅读 · 2018年12月6日
Meta-Transfer Learning for Few-Shot Learning
Qianru Sun,Yaoyao Liu,Tat-Seng Chua,Bernt Schiele
6+阅读 · 2018年12月6日
Joaquin Vanschoren
116+阅读 · 2018年10月8日
Multi-task Deep Reinforcement Learning with PopArt
Matteo Hessel,Hubert Soyer,Lasse Espeholt,Wojciech Czarnecki,Simon Schmitt,Hado van Hasselt
3+阅读 · 2018年9月12日
Learn What Not to Learn: Action Elimination with Deep Reinforcement Learning
Tom Zahavy,Matan Haroush,Nadav Merlis,Daniel J. Mankowitz,Shie Mannor
4+阅读 · 2018年9月6日
Yong Wang,Xiao-Ming Wu,Qimai Li,Jiatao Gu,Wangmeng Xiang,Lei Zhang,Victor O. K. Li
9+阅读 · 2018年7月8日
Ignasi Clavera,Anusha Nagabandi,Ronald S. Fearing,Pieter Abbeel,Sergey Levine,Chelsea Finn
7+阅读 · 2018年3月30日
Top