【论文】自训练噪声student模型提高ImageNet分类准确率（Self-training with Noisy Student improves ImageNet classification），谷歌研究科学家Quoc V. Le等

论文题目： Self-training with Noisy Student improves ImageNet classification

论文摘要： 我们提出了一种简单的自我训练方法，在ImageNet上达到87.4%的top-1精度，比目前最先进的需要3.5B弱标记Instagram图像的模型好1.0%。在稳健性测试集上，它将imagnet-A的最高精度从16.6%提高到74.2%，将imagnet-C的平均损坏误差从45.7降低到31.2，并将imagnet-P的平均翻转率从27.8降低到16.1。为了达到这一目的，我们首先在标注的ImageNet图像上训练了一个EfficientNet模型，然后用这个模型作为老师在3亿无标签图像上生成伪标签。然后又训练了一个更大的EfficientNet作为学生student模型，使用的数据则是正确标注图像和伪标注图像的混合数据。这一过程不断迭代，每个新的学生模型作为下一轮的老师模型。在伪标签的生成过程中，老师模型不受噪声干扰，所以生成的伪标注会尽可能逼真。但是在学生模型的学习过程中，我们对数据加入了噪声，使用了诸如数据增强、dropout、随机深度等方法，使得学生模型在从伪标签训练的过程中更加艰难。

作者简介：

Quoc V. Le，谷歌研究科学家，斯坦福大学计算机科学系人工智能实验室博士生。 Qizhe Xie，卡内基梅隆大学机器学习系博士研究生，感兴趣的方向：深度学习、自然语言处理、计算机视觉。等