题目: Supervised Contrastive Learning

简介: 交叉熵是在图像分类模型的有监督训练中使用最广泛的损失函数。在本文中,我们提出了一种新颖的训练方法,该方法在跨不同体系结构和数据扩充的监督学习任务上始终优于交叉熵。我们修改了批处理的对比损失,最近已证明该方法对于在自我监督的情况下学习强大的表示非常有效。因此,我们能够比交叉熵更有效地利用标签信息。属于同一类别的点的群集在嵌入空间中聚在一起,同时将不同类别的样本群集推开。除此之外,我们还利用了关键成分,例如大批处理量和标准化的嵌入,这些成分已显示出对自我监督学习的好处。在ResNet-50和ResNet-200上,我们的交叉熵均超过1%,在使用AutoAugment数据增强的方法中,新的技术水平达到了78.8%。损失还显示出明显的好处,即可以在标准基准和准确性方面提高对自然基准的自然破坏的鲁棒性。与交叉熵相比,我们监督的对比损失对于诸如优化器或数据增强之类的超参数设置更稳定。

成为VIP会员查看完整内容
24
0

相关内容

【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
83+阅读 · 2020年7月4日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
60+阅读 · 2020年6月11日
【Google】无监督机器翻译,Unsupervised Machine Translation
专知会员服务
31+阅读 · 2020年3月3日
【自监督学习】OpenAI科学家一文详解自监督学习
产业智能官
20+阅读 · 2020年3月18日
AI新视野 | 数据蒸馏Dataset Distillation
人工智能前沿讲习班
26+阅读 · 2019年6月14日
该如何对「半监督学习算法」实际性应用进行评估?
炼数成金订阅号
6+阅读 · 2018年4月27日
Few-shot Learning: A Survey
Arxiv
344+阅读 · 2019年4月10日
Logically-Constrained Reinforcement Learning
Arxiv
3+阅读 · 2018年12月6日
Arxiv
7+阅读 · 2018年5月23日
Arxiv
8+阅读 · 2018年3月28日
小贴士
微信扫码咨询专知VIP会员