【Google】监督对比学习，Supervised Contrastive Learning

交叉熵是图像分类模型监督训练中应用最广泛的损失函数。在这篇论文中，我们提出了一种新的训练方法，在不同架构和数据扩充的监督学习任务中，它的表现始终优于交叉熵。我们修改了批量对比损失，这是最近被证明在自监督学习强大表示是非常有效的。我们能够比交叉熵更有效地利用标签信息。在嵌入空间中，将同一类的点聚在一起，同时将不同类的样本聚在一起。除此之外，我们还利用了关键的成分，如大批量和标准化嵌入，这些已经被证明有利于自监督学习。在ResNet-50和ResNet-200上，我们的交叉熵性能都超过了1%，在使用自动增广数据增强的方法中，我们设置了78.8%的最新水平。这一损失也清楚地表明，在校准和准确性方面，对标准基准的自然损坏具有鲁棒性。与交叉熵相比，我们的监督对比损失更稳定的超参数设置，如优化或数据扩充。

https://arxiv.org/abs/2004.11362

https://arxiv.org/pdf/2004.11362.pdf

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“SCL” 就可以获取《监督对比学习，Supervised Contrastive Learning》专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源