Contrastive learning (CL) methods effectively learn data representations without label supervision, where the encoder contrasts each positive sample over multiple negative samples via a one-vs-many softmax cross-entropy loss. By leveraging large amounts of unlabeled image data, recent CL methods have achieved promising results when pre-trained on ImageNet, a well-curated data set with balanced image classes. However, they tend to yield worse performance when pre-trained on images in the wild. In this paper, to further improve the performance of CL and enhance its robustness on uncurated data sets, we propose a doubly CL strategy that contrasts the positive (negative) samples of a query within themselves before deciding how strongly to pull (push) them. We realize this strategy with contrastive attraction and contrastive repulsion (CACR), which makes the query not only exert a greater force to attract more distant positive samples but also do so to repel closer negative samples. Theoretical analysis reveals that CACR generalizes CL's behavior by taking into consideration the differences between the distributions of the positive/negative samples, which in general are sampled independently of the query, and their true conditional distributions given the query. We demonstrate this unique intra-positive attraction and intra-negative repulsion mechanism, which helps remove the need to assume uniform prior distributions on both the data and their latent representation, is particularly beneficial when data sets are less curated. Extensive large-scale experiments on a number of standard vision tasks show that CACR not only consistently outperforms existing CL methods on benchmark data sets in representation learning, but also shows better robustness when generalized to pre-training on imbalanced image data sets.
翻译:对比性学习( CL) 方法能够有效地在没有标签监督的情况下学习数据显示, 编码器通过一五种多软式软式交叉体丧失, 将每个正样本与多个负样本对比起来。 通过利用大量未贴标签的图像数据, 最近的 CL 方法在通过图像网( 图像网( 图像网) 进行预培训之前, 一种使用平衡图像等级的精密数据集 ), 取得了令人乐观的结果。 但是, 当对野生图像进行预培训时, 它们往往产生更差的性能。 在本文中, 为了进一步提高 CL的性能, 并增强 CL 的可靠性, 我们提出了一个双重的 CL 战略, 在决定如何大力拉动之前, 将内部查询的正( 负性) 对比性样本样本样本对比起来, 我们的这一战略不仅能产生更大的力来吸引更远的正面的样本, 而且还能提供更接近负面的样本。 理论分析显示 CL 将 CL 的行为概括化 CL,, 将 CL 与 的 持续地 的 的正性 的 的 的 的 的 的 对比性 数据 显示 显示 的 的 的 的 的 显示 的 的 的 的, 以 以 的 以 以 以 的 以 以 以 以 比较性 的 的 的 的 的 比较 的 的 的 比较 的 比较 比较 的 的 比较 的 的 的 的 的 比较 的 的 的 的 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 。 。 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 的 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示 表示