新智元推荐
来源:metalearning.ml
深度学习的成功部分是由于大量有标记数据的可用性。然而,即使在大数据背景下的今天,想获取具有大量优质的、标签正确的数据的数据集,仍是一个难题。
近年小样本学习(Few-shot Learning)的发展,旨在解决这个问题。小样本学习属于迁移学习的一种。顾名思义,小样本学习是一种能够让深度学习(或者任何机器学习算法)通过更少的样本学习,而不像传统的那样使用大量样本的技术。
Hugo Larochelle是谷歌大脑的研究员,深度学习领域的专家。他在最近的一个workshop中,讨论了元学习(Meta-learning)这个主题。元学习是一个非常有前途的框架,用于解决从少量数据进行泛化的问题,即所谓的小样本学习。
在元学习中,我们的模型本身就是一种学习算法:它将输入作为训练集,并输出一个分类器。对于 few-shot learning,直接训练产生的分类器具有良好的泛化性能,适用于只有非常少的标记数据的问题。
在这个workshop中,Hugo Larochelle概述了最近这个主题上取得的一些最新进展,并讨论了仍然存在的挑战和研究机会。
以下是Hugo Larochelle讲座的PPT,文末附下载链接。
元学习(Meta-learning)
选择一种Meta-learning
定义meta-learner的两种方法:
从已知的学习算法得到启发
kNN/kernel machine: Matching networks (Vinyals et al. 2016)
高斯分类器:Prototypical Networks (Snell et al. 2017)
梯度下降法:(Ravi & Larochelle, 2017) , MAML (Finn et al. 2017)
从黑盒神经网络推导
SNAIL (Mishra et al. 2018)
存在的挑战:
超越有监督分类
无监督学习、结构化输出、互动学习
超越Mini-ImageNet
对问题/数据集的分布给出一个现实的定义
Meta-Dataset
小结:
Meta-training 的分布可以产生很大的不同(至少对于目前的方法而言)
使用“常规训练”作为初始化会产生很大的不同
需要调整MAML以使其更具鲁棒性
PPT下载:
http://metalearning.ml/2018/slides/meta_learning_2018_Larochelle.pdf
【加入社群】
新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手微信号:aiera2015_2 入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。