【Google-CMU】元伪标签的元学习，Meta Pseudo Labels

许多深度神经网络的训练算法可以解释为最小化网络预测与目标分布之间的交叉熵损失。在监督学习中，这种目标分布通常是一个one hot向量。在半监督学习中，这种目标分布通常是由一个预先训练好的教师模型来训练主网络生成的。在这项工作中，我们没有使用这种预定义的目标分布，而是证明了学习根据主网络的学习状态来调整目标分布可以获得更好的性能。特别地，我们提出了一种有效的元学习算法，该算法鼓励教师以改善主网络学习的方式来调整训练样本的目标分布。教师通过在一个预定的验证集上评估主网络计算出的策略梯度来更新。我们的实验证明了在强基线上的重大改进，并在CIFAR-10、SVHN和ImageNet上建立了最新的性能。例如，使用小型数据集上的ResNets，我们在CIFAR-10上实现了96.1%(包含4,000个标记示例)，在ImageNet上实现了73.9%(包含10%示例)的top-1。同时，在完整的数据集上加上额外的未标记数据，我们在CIFAR-10上获得98.6%的准确率，在ImageNet上获得86.9%的top-1的准确率。

https://arxiv.org/abs/2003.10580

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MPL” 就可以获取《【Google-CMU】元伪标签的元学习，Meta Pseudo Labels》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源