元学习综述 | 进入Meta Learning的世界(一)

会员服务 ·

元学习综述 | 进入Meta Learning的世界(一)

2021 年 2 月 15 日 AINLP

“作者为团队成员大青，新南威尔士大学全奖PHD，平台的专栏作者之一

本文由「海边的拾遗者」公众号编辑首发 ”

Meta Learning的简介

Meta learning也经常被称为是learning to learn，也就是学习学习的方法。

怎么理解呢？

首先，现在大部分的机器学习的方法，都是需要大量的training data，在海量的数据中学习数据的pattern，然后再来解决新的问题。

但是实际上，对于人类来说，我们看到过一张猫的图片，以后看到类似的生物我们就比较容易判断它是不是猫或者类不类似猫。而对于目前大多数的机器学习方法是无法做到从少量的数据中学习到有用的数据的。

Meta learning就是来解决这样的问题。它通过我们过去的学习相似任务的经验，来快速引领新任务找到学习的方法。也就是学习学习的方法。

举个例子:N-way K-shot image classification

一般情况下，我们需要根据当前的任务定义一个元数据集 (meta-dataset)，考虑我们在做图像分类的任务，这个meta-dataset可以是像ImageNet那样的数据集(2w多个图片类别，每个图片类别有若干个图片）。

每一个任务（singletask)：对于一个N-way K-shot的图像分类问题，我们希望通过先学习N个类别上的k个图片（比如k=1张图片），在给定一张新的图片（来自这N个类别之一）的时候，我们能给出准确的判断。

注意，这N个类别是来自meta-dataset的，同时是随机选择的。同样的，每个类别下的K个sample也是我们随机从meta-dataset中的N个类别下的图片中抽取的。

元学习任务(meta-learning tasks, including training tasks and testing tasks): 在meta-learning场景下，我们的training任务是针对不同的tasks，每一个task是一个随机抽取的dataset，包含了K个从N类别图片中抽取的样本。对于每一个task来说，n*k个样本是它的局部training data（也就是我们常见到的support dataset），而每一个task的预测任务就是对于一个新的属于这N类的样本进行分类，（也就是在我们常见到的query dataset上进行task的测试）。

也就是说，meta-learning的任务是让我们学习在不同任务上处理相似问题的能力，这样当我们在遇到新的类似任务的时候，也可以通过很少的例子（few-shot），来进行相关的预测。

A good meta-learning model should be trained over avariety of learning tasks and optimized for the best performance on adistribution of tasks, including potentially unseen tasks.

在机器学习技能自学成才的过程中，我们必须对自身的教育和启蒙负责，对下面十条戒律不应掉以轻心。前车之鉴，后车之师。

用公式来说，meta-learning的学习任务就是学习一个普遍的设置（a sharing knowledge)，可以利用这个普遍的设置 (sharing knowledge) 来帮助我们快速在新的task上进行相关的预测任务。

比如说，这个sharing knowledge可以是模型参数的初始值（parameter initialization), 我们可以通过meta-learning在training tasks上进行训练，得到一个最优的参数初始值，使得在新的testing tasks上，我们可以通过仅仅迭代几步就得到比较好的预测效果，这也是 Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks (MAML) 这一篇文章所介绍的思想。

根据这个sharing knowledge学习过程以及涉及方面的不同，可以大概将meta-learning分为三个方面：

Metric-based
Model-based
Optimization-based

其中，刚才提到的MAML就是optimization-based方法的一个典型模型。后续会分别简单介绍一下这三个方面。

由于微信平台算法改版，公号内容将不再以时间排序展示，如果大家想第一时间看到我们的推送，强烈建议星标我们和给我们多点点【在看】。星标具体步骤为：

（1）点击页面最上方"AINLP"，进入公众号主页。

（2）点击右上角的小点点，在弹出页面点击“设为星标”，就可以啦。

感谢支持，比心。

欢迎加入AINLP交流群

进群请添加AINLP小助手微信 AINLPer（id: ainlper)，备注NLP技术交流

推荐阅读

这个NLP工具，玩得根本停不下来

征稿启示| 200元稿费+5000DBC（价值20个小时GPU算力）

完结撒花！李宏毅老师深度学习与人类语言处理课程视频及课件（附下载）

从数据到模型，你可能需要1篇详实的pytorch踩坑指南

如何让Bert在finetune小数据集时更“稳”一点

模型压缩实践系列之——bert-of-theseus，一个非常亲民的bert压缩方法

文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化

Node2Vec 论文+代码笔记

模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

中文命名实体识别工具（NER）哪家强？

学自然语言处理，其实更应该学好英语

斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLPer(id：ainlper)，备注工作/研究方向+加群目的。