In this paper, we propose Parametric Contrastive Learning (PaCo) to tackle long-tailed recognition. Based on theoretical analysis, we observe supervised contrastive loss tends to bias on high-frequency classes and thus increases the difficulty of imbalance learning. We introduce a set of parametric class-wise learnable centers to rebalance from an optimization perspective. Further, we analyze our PaCo loss under a balanced setting. Our analysis demonstrates that PaCo can adaptively enhance the intensity of pushing samples of the same class close as more samples are pulled together with their corresponding centers and benefit hard example learning. Experiments on long-tailed CIFAR, ImageNet, Places, and iNaturalist 2018 manifest the new state-of-the-art for long-tailed recognition. On full ImageNet, models trained with PaCo loss surpass supervised contrastive learning across various ResNet backbones. Our code is available at \url{https://github.com/jiequancui/Parametric-Contrastive-Learning}.


翻译:在本文中,我们提出了解决长期差异认知的参数对比学习(Paco) 。 根据理论分析,我们观察到受监督的对比损失倾向于偏向高频类,从而增加了不平衡学习的难度。我们引入了一组从优化角度重新平衡的参数类可学习中心。此外,我们在平衡的环境下分析我们的Paco损失。我们的分析表明,Paco可以适应性地提高同一类样本的推力强度,因为更多的样本会与相应的中心一起拉动,并有益于坚韧的学习。在长期销售的CIFAR、图像网、地点和iNatulist 上进行的实验显示2018年新的艺术状态,以便长期识别。在全图像网上,用Paco损失模型培训的模型超过了ResNet各骨干部监督的对比学习。我们的代码可在<url{https://github.com/jiequancui/Paraconticatri-Constrative-Lear}查阅。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年7月27日
【图与几何深度学习】Graph and geometric deep learning,49页ppt
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
79+阅读 · 2020年6月11日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
31+阅读 · 2020年4月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
Cross-Modal & Metric Learning 跨模态检索专题-2
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
10+阅读 · 2021年3月30日
Arxiv
23+阅读 · 2021年3月4日
Arxiv
5+阅读 · 2020年10月22日
Arxiv
7+阅读 · 2020年10月9日
Arxiv
31+阅读 · 2020年9月21日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
专知会员服务
32+阅读 · 2021年7月27日
【图与几何深度学习】Graph and geometric deep learning,49页ppt
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
79+阅读 · 2020年6月11日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
31+阅读 · 2020年4月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
相关论文
Arxiv
10+阅读 · 2021年3月30日
Arxiv
23+阅读 · 2021年3月4日
Arxiv
5+阅读 · 2020年10月22日
Arxiv
7+阅读 · 2020年10月9日
Arxiv
31+阅读 · 2020年9月21日
Hardness-Aware Deep Metric Learning
Arxiv
6+阅读 · 2019年3月13日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员