何恺明团队新论文！自监督学习+Transformer=MoCoV3，解决训练不稳定性

本文并没有提出一种新的方法，相反，鉴于最近计算机视觉的进展，我们研究了一个简单、渐进、但必须知道的基线：用于视觉Transformer的自监督学习。尽管标准卷积网络的训练方法已经非常成熟且鲁棒，然而ViT的训练方案仍有待于构建，特别是自监督场景下的训练极具挑战。

在这里，我们从基础出发，对训练自监督ViT的几种基本组件的影响进行了分析调研。我们发现：不稳定性是影响精确下降的最主要问题，它会被表面上好的结果覆盖(容易陷入局部最优)。我们通过实验发现：这些结果确实存在部分失败；当训练变得稳定时，这些结果可以进一步提升。基于MoCoV3以及其他自监督框架，我们从不同角度对ViT进行了测试分析；我们对观察到的积极面、挑战性以及开放问题进行了讨论，期望该工作可以为未来的研究提供有用的数据支撑和经验参考。