【Google-CMU】元伪标签的元学习,Meta Pseudo Labels

2020 年 3 月 30 日 专知

许多深度神经网络的训练算法可以解释为最小化网络预测与目标分布之间的交叉熵损失。在监督学习中,这种目标分布通常是一个one hot向量。在半监督学习中,这种目标分布通常是由一个预先训练好的教师模型来训练主网络生成的。在这项工作中,我们没有使用这种预定义的目标分布,而是证明了学习根据主网络的学习状态来调整目标分布可以获得更好的性能。特别地,我们提出了一种有效的元学习算法,该算法鼓励教师以改善主网络学习的方式来调整训练样本的目标分布。教师通过在一个预定的验证集上评估主网络计算出的策略梯度来更新。我们的实验证明了在强基线上的重大改进,并在CIFAR-10、SVHN和ImageNet上建立了最新的性能。例如,使用小型数据集上的ResNets,我们在CIFAR-10上实现了96.1%(包含4,000个标记示例),在ImageNet上实现了73.9%(包含10%示例)的top-1。同时,在完整的数据集上加上额外的未标记数据,我们在CIFAR-10上获得98.6%的准确率,在ImageNet上获得86.9%的top-1的准确率。

https://arxiv.org/abs/2003.10580

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“MPL” 就可以获取【Google-CMU】元伪标签的元学习,Meta Pseudo Labels》专知下载链接

专知,专业可信的人工智能知识分发,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取5000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取5000+AI主题知识资源
登录查看更多
48

相关内容

【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
72+阅读 · 2020年4月24日
Uber AI NeurIPS 2019《元学习meta-learning》教程,附92页PPT下载
专知会员服务
112+阅读 · 2019年12月13日
Google Brain ICLR Talk:元学习的前沿与挑战
专知
27+阅读 · 2019年5月9日
元学习(Meta-Learning) 综述及五篇顶会论文推荐
Meta-Learning 元学习:学会快速学习
GAN生成式对抗网络
19+阅读 · 2018年12月8日
Arxiv
6+阅读 · 2019年7月29日
Arxiv
4+阅读 · 2019年4月3日
Arxiv
13+阅读 · 2019年1月26日
Meta-Learning with Latent Embedding Optimization
Arxiv
6+阅读 · 2018年7月16日
VIP会员
Top
微信扫码咨询专知VIP会员