Real-world data typically follow a long-tailed distribution, where a few majority categories occupy most of the data while most minority categories contain a limited number of samples. Classification models minimizing cross-entropy struggle to represent and classify the tail classes. Although the problem of learning unbiased classifiers has been well studied, methods for representing imbalanced data are under-explored. In this paper, we focus on representation learning for imbalanced data. Recently, supervised contrastive learning has shown promising performance on balanced data recently. However, through our theoretical analysis, we find that for long-tailed data, it fails to form a regular simplex which is an ideal geometric configuration for representation learning. To correct the optimization behavior of SCL and further improve the performance of long-tailed visual recognition, we propose a novel loss for balanced contrastive learning (BCL). Compared with SCL, we have two improvements in BCL: class-averaging, which balances the gradient contribution of negative classes; class-complement, which allows all classes to appear in every mini-batch. The proposed balanced contrastive learning (BCL) method satisfies the condition of forming a regular simplex and assists the optimization of cross-entropy. Equipped with BCL, the proposed two-branch framework can obtain a stronger feature representation and achieve competitive performance on long-tailed benchmark datasets such as CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, and iNaturalist2018. Our code is available at https://github.com/FlamieZhu/BCL .
翻译:真实世界数据通常遵循长尾分布法, 少数多数类数据占大多数数据,而多数少数类数据则包含数量有限的样本。 分类模型最大限度地减少跨渗透性挣扎以代表尾类并进行分类。 虽然已经对学习不偏颇的分类者问题进行了很好的研究, 代表不平衡数据的方法却未得到充分探讨。 在本文中, 我们注重为不平衡数据进行代表性学习。 最近, 监督对比性学习显示, 均衡数据的最新表现良好。 然而, 我们通过理论分析发现, 对于长尾数据, 它未能形成一个常规的简单化简单化的简单化数据, 这是用于代表学习的理想几何方配置。 为了纠正SCL的优化行为, 并进一步提高长尾目视觉识别的绩效。 与 SCCL相比, 我们的BL有两项改进: 类稳定, 平衡了负面类的梯度贡献; 等级整合, 允许所有类都出现在每类数据中。 拟议的平衡化对比性学习方法( BCL) 满足了常规- IML 常规- 和 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 标准, 的 和跨 的 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 标准- 的 的 的 的 的 的 的 的 的 的, 可以优化 的 的 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 的 的 的 的 的 的 的 的 常规- 常规- 常规- 的 常规- 常规- 常规- 的 的 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规- 的 的 的 的 的 的 常规- 的 常规- 常规- 的 常规- 常规- 常规- 常规- 常规- 常规- 常规- 常规-