如何用好对比学习？CVPR2021谷歌ChenTing《自监督视觉表示学习》报告，附视频与Slides

尽管深度网络在计算机视觉方面取得了实验性成功，但它们往往需要“大的”和高质量标记的训练数据。当被运用于研究真实视觉世界中的复杂问题时，它们的性能是有限的，因为数据和标签的获取是非常昂贵的，或者可能以各种噪声、弱或长尾的形式出现。例如，收集许多科学和工程学科(天文学、材料科学、地球科学、医学等)的图像数据往往依赖于昂贵和高风险的实验。此外，在这些应用中，数据标签的操作也很繁琐，需要高技能的专业人员，这给使用一些具有成本效益的解决方案(如众包)带来了挑战。此外，对于专有或敏感数据，使用众包来大规模标记数据往往是不可行的。更糟糕的是，当经过训练的模型面临操作环境的变化，需要进行调整时，总是需要额外的标签。对于许多问题，使模型适应新环境所需的标记数据接近从头训练所需的数量。因此，当系统表现出非平稳特性或在不同的环境中运行时，也需要连续的数据和标签收集。

在CVPR2021本教程中，来自Google大脑的Chen Ting讲述了自监督视觉表示学习中的关键技术-对比学习要点，非常值得关注！

自监督学习快速概览

对比学习， Contrastive learning

对比学习的关键要素 What matters in contrastive learning

面临少样本如何处理 How to do better with a few labels

对比学习限制要素， What is limiting contrastive learning