【干货】谷歌大脑:元学习最新进展与挑战(40 PPT下载)

2019 年 1 月 29 日 新智元





  新智元推荐  

来源:metalearning.ml

【新智元导读】Hugo Larochelle是谷歌大脑的研究员、深度学习领域的专家。他在最近的演讲中讨论了小样本学习这个主题,概述了这个领域的一些最新进展,存在的挑战以及研究机会。


深度学习的成功部分是由于大量有标记数据的可用性。然而,即使在大数据背景下的今天,想获取具有大量优质的、标签正确的数据的数据集,仍是一个难题。


近年小样本学习(Few-shot Learning)的发展,旨在解决这个问题。小样本学习属于迁移学习的一种。顾名思义,小样本学习是一种能够让深度学习(或者任何机器学习算法)通过更少的样本学习,而不像传统的那样使用大量样本的技术。


Hugo Larochelle是谷歌大脑的研究员,深度学习领域的专家。他在最近的一个workshop中,讨论了元学习(Meta-learning)这个主题。元学习是一个非常有前途的框架,用于解决从少量数据进行泛化的问题,即所谓的小样本学习。


在元学习中,我们的模型本身就是一种学习算法:它将输入作为训练集,并输出一个分类器。对于 few-shot learning,直接训练产生的分类器具有良好的泛化性能,适用于只有非常少的标记数据的问题。


在这个workshop中,Hugo Larochelle概述了最近这个主题上取得的一些最新进展,并讨论了仍然存在的挑战和研究机会。


以下是Hugo Larochelle讲座的PPT,文末附下载链接。


内容概要


元学习(Meta-learning)

选择一种Meta-learning

定义meta-learner的两种方法:

从已知的学习算法得到启发

  • kNN/kernel machine: Matching networks (Vinyals et al. 2016)

  • 高斯分类器:Prototypical Networks (Snell et al. 2017)

  • 梯度下降法:(Ravi & Larochelle, 2017) , MAML (Finn et al. 2017)

从黑盒神经网络推导

  • SNAIL (Mishra et al. 2018)

存在的挑战:

超越有监督分类

  • 无监督学习、结构化输出、互动学习

超越Mini-ImageNet

  • 对问题/数据集的分布给出一个现实的定义

Meta-Dataset

小结:

  • Meta-training 的分布可以产生很大的不同(至少对于目前的方法而言)

  • 使用“常规训练”作为初始化会产生很大的不同

  • 需要调整MAML以使其更具鲁棒性


PPT下载:

http://metalearning.ml/2018/slides/meta_learning_2018_Larochelle.pdf


【加入社群】


新智元AI技术+产业社群招募中,欢迎对AI技术+产业落地感兴趣的同学,加小助手微信号:aiera2015_2   入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。


登录查看更多
20

相关内容

小样本学习(Few-Shot Learning,以下简称 FSL )用于解决当可用的数据量比较少时,如何提升神经网络的性能。在 FSL 中,经常用到的一类方法被称为 Meta-learning。和普通的神经网络的训练方法一样,Meta-learning 也包含训练过程和测试过程,但是它的训练过程被称作 Meta-training 和 Meta-testing。
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
179+阅读 · 2020年5月29日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
128+阅读 · 2020年4月25日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
Uber AI NeurIPS 2019《元学习meta-learning》教程,附92页PPT下载
专知会员服务
112+阅读 · 2019年12月13日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
24+阅读 · 2019年11月19日
计算机视觉中深度迁移学习,165页PPT
专知
23+阅读 · 2019年8月18日
ICML2019《元学习》教程与必读论文列表
专知
42+阅读 · 2019年6月16日
Google Brain ICLR Talk:元学习的前沿与挑战
专知
27+阅读 · 2019年5月9日
观点|元学习:实现通用人工智能的关键!
AI科技评论
8+阅读 · 2017年8月21日
Arxiv
38+阅读 · 2020年3月10日
Arxiv
13+阅读 · 2019年1月26日
Arxiv
136+阅读 · 2018年10月8日
Arxiv
11+阅读 · 2018年7月8日
VIP会员
相关VIP内容
最新《生成式对抗网络》简介,25页ppt
专知会员服务
173+阅读 · 2020年6月28日
【牛津大学&DeepMind】自监督学习教程,141页ppt
专知会员服务
179+阅读 · 2020年5月29日
元学习与图神经网络逻辑推导,55页ppt
专知会员服务
128+阅读 · 2020年4月25日
深度强化学习策略梯度教程,53页ppt
专知会员服务
178+阅读 · 2020年2月1日
Uber AI NeurIPS 2019《元学习meta-learning》教程,附92页PPT下载
专知会员服务
112+阅读 · 2019年12月13日
【斯坦福&Google】面向机器人的机器学习,63页PPT
专知会员服务
24+阅读 · 2019年11月19日
相关论文
Arxiv
38+阅读 · 2020年3月10日
Arxiv
13+阅读 · 2019年1月26日
Arxiv
136+阅读 · 2018年10月8日
Arxiv
11+阅读 · 2018年7月8日
Top
微信扫码咨询专知VIP会员