【Google无监督大规模视觉表示迁移】Large Scale Learning of General Visual Representations for Transfer

题目： Large Scale Learning of General Visual Representations for Transfer

摘要： 在训练深层视觉神经网络时，预训练表示的传递提高了样本效率，简化了超参数整定。我们重新审视了在大监督数据集上进行预训练和微调目标任务权重的范例。我们扩大了训练前的规模，并创建了一个简单的配方，我们称之为大转移（BiT）。通过组合一些精心挑选的组件，并使用简单的启发式进行传输，我们在20多个数据集上获得了很强的性能。BiT在一系列出人意料的数据体系中表现良好——从10到100万个标记示例。BiT在ILSVRC-2012上达到87.8%的top-1精度，在CIFAR-10上达到99.3%，在视觉任务适应基准（包括19个任务）上达到76.7%。在小型数据集上，ILSVRC-2012每类25个示例的BiT达到86.4%，CIFAR-10每类10个示例的BiT达到97.6%。我们对导致高传输性能的主要组件进行了详细的分析。

作者简介： Alexander Kolesnikov，谷歌仪器科学家。个人主页：[https://neutrons.ornl.gov/contacts/kolesnikovai]{https://neutrons.ornl.gov/contacts/kolesnikovai}