We present Meta Pseudo Labels, a semi-supervised learning method that achieves a new state-of-the-art top-1 accuracy of 90.2% on ImageNet, which is 1.6% better than the existing state-of-the-art. Like Pseudo Labels, Meta Pseudo Labels has a teacher network to generate pseudo labels on unlabeled data to teach a student network. However, unlike Pseudo Labels where the teacher is fixed, the teacher in Meta Pseudo Labels is constantly adapted by the feedback of the student's performance on the labeled dataset. As a result, the teacher generates better pseudo labels to teach the student. Our code will be available at https://github.com/google-research/google-research/tree/master/meta_pseudo_labels.


翻译:我们展示了Meta Pseudo Labels, 这是一种半监督的学习方法,在图像网络上实现了90.2%的最先进的最高一级精确度为90.2%,比现有最先进的精确度高1.6%。像Pseudo Labels一样,Meta Pseudo Labels有一个教师网络,在未贴标签的数据上生成假标签,用于教授学生网络。然而,与教师固定的Pseudo Labels不同,Meta Pseudo Labels的教师不断因学生在标签数据集上的表现反馈而适应。结果,该教师制作了更好的假标签,教学生。我们的代码将在https://github.com/google-research/tree/master/meta_psedodo_lables上查阅。

1
下载
关闭预览

相关内容

【ICML2020】小样本目标检测
专知会员服务
90+阅读 · 2020年6月2日
【Google-CMU】元伪标签的元学习,Meta Pseudo Labels
专知会员服务
31+阅读 · 2020年3月30日
【ICML2020】小样本目标检测
专知
7+阅读 · 2020年6月2日
元学习(Meta Learning)最全论文、视频、书籍资源整理
深度学习与NLP
22+阅读 · 2019年6月20日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
论文笔记之Meta-Tracker(ECCV2018)
统计学习与视觉计算组
16+阅读 · 2018年8月24日
Arxiv
0+阅读 · 2021年4月21日
Arxiv
17+阅读 · 2021年2月15日
One-Shot Federated Learning
Arxiv
9+阅读 · 2019年3月5日
Meta-Transfer Learning for Few-Shot Learning
Arxiv
7+阅读 · 2018年12月6日
VIP会员
相关资讯
【ICML2020】小样本目标检测
专知
7+阅读 · 2020年6月2日
元学习(Meta Learning)最全论文、视频、书籍资源整理
深度学习与NLP
22+阅读 · 2019年6月20日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
25+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
26+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
论文笔记之Meta-Tracker(ECCV2018)
统计学习与视觉计算组
16+阅读 · 2018年8月24日
相关论文
Top
微信扫码咨询专知VIP会员