【CVPR2020-普林斯顿】自监督预训练对于视觉任务到底有什么用？ Self-Supervised Pretraining

最近面向视觉任务的自监督预训练取得了惊人的进展。我们调研了哪些因素可能在预训练方法的效用中发挥作用。为此，我们评估了一系列综合数据集和下游任务中的各种自监督算法。我们准备了一套合成数据，可以提供无穷无尽的带注释的图像，以及完全控制数据集的难度。我们的实验提供了关于自我监督的效用如何随着可用标签数量的增长而变化，以及效用如何随着下游任务和训练数据的属性而变化的见解。代码和数据在https://github.com/princeton-vl/selfstudy中可用。