题目

自监督图像分类:Self-training with Noisy Student improves ImageNet classification

关键字

图像分类,自监督学习,计算机视觉,深度学习,人工智能

简介

我们提出了一种简单的自我训练方法,该方法可在ImageNet上达到88.4%的top-1准确性,这比要求3.5B弱标记Instagram图像的最新模型高2.0%。在健壮性测试集上,它将ImageNet-A top-1的准确性从61.0%提高到83.7%,将ImageNet-C的平均损坏错误从45.7降低到28.3,并将ImageNet-P的平均翻转率从27.8降低到12.2。

为了获得此结果,我们首先在标记的ImageNet图像上训练EfficientNet模型,并将其用作教师,以在300M未标记的图像上生成伪标记。然后,我们将更大的EfficientNet训练为带有标记和伪标记图像组合的学生模型。我们通过让学生作为老师来迭代此过程。在伪标签的生成过程中,不会对教师产生干扰,从而使伪标签尽可能准确。但是,在学生学习期间,我们通过RandAugment向学生注入诸如辍学,随机深度和数据增强之类的噪声,从而使学生的普遍性优于老师。

作者

Qizhe Xie, Minh-Thang Luong, Eduard Hovy, Quoc V. Le

成为VIP会员查看完整内容
54

相关内容

图像分类是指给定一组各自被标记为单一类别的图像,然后对一组新的测试图像的类别进行预测,并测量预测的准确性结果。
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
45+阅读 · 2020年7月4日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
72+阅读 · 2020年4月24日
【Google-CMU】元伪标签的元学习,Meta Pseudo Labels
专知会员服务
31+阅读 · 2020年3月30日
DeepMind开源最牛无监督学习BigBiGAN预训练模型
新智元
10+阅读 · 2019年10月10日
CMU最新视觉特征自监督学习模型——TextTopicNet
人工智能头条
9+阅读 · 2018年7月29日
谷歌推出新型数据增强算法:AutoAugment
论智
20+阅读 · 2018年6月6日
TensorFlow图像分类教程
机器学习研究会
33+阅读 · 2017年12月29日
[深度学习] AlexNet,GoogLeNet,VGG,ResNet简化版
机器学习和数学
20+阅读 · 2017年10月13日
Mobile big data analysis with machine learning
Arxiv
6+阅读 · 2018年8月2日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
8+阅读 · 2018年4月12日
Arxiv
6+阅读 · 2018年3月19日
Arxiv
5+阅读 · 2018年3月6日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关VIP内容
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
45+阅读 · 2020年7月4日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
72+阅读 · 2020年4月24日
【Google-CMU】元伪标签的元学习,Meta Pseudo Labels
专知会员服务
31+阅读 · 2020年3月30日
相关论文
Mobile big data analysis with machine learning
Arxiv
6+阅读 · 2018年8月2日
Arxiv
6+阅读 · 2018年6月21日
Arxiv
6+阅读 · 2018年4月23日
Arxiv
8+阅读 · 2018年4月12日
Arxiv
6+阅读 · 2018年3月19日
Arxiv
5+阅读 · 2018年3月6日
Arxiv
9+阅读 · 2018年1月4日
微信扫码咨询专知VIP会员