Contrastive learning (CL) has achieved remarkable success in learning transferable representations. It has been identified that the temperature $ \tau $ of CL loss plays an essential role in automatically concentrating on hard negative samples. However, recent work also indicates a uniformity-tolerance dilemma (UTD) connected to $ \tau $, which will lead to unexpected performance degradation. We argue that it is the fixity of temperature that is inextricably linked to UTD and suboptimal embedding space. To tackle the challenge of UTD, we enrich the CL loss family by presenting a Model-Aware Contrastive Learning (MACL) strategy. In MACL, the temperature parameter is adaptive to the magnitude of alignment that reflects the basic confidence of the instance discrimination task. Lower alignment implies poor discrimination for the undertrained phase, then there is less possibility that the high similarity region contains latent positive samples (LPs). Thus, a small $ \tau $ can impose larger penalties on hard negative samples to learn uniformly informative embeddings. Instead, a larger $ \tau $ in the well-trained phase facilitates the exploration of semantic structures due to its increased tolerance for LPs. Besides, theoretically, we uncover why contrastive learning requires a large number of negative samples from a unified gradient reduction perspective. Based on MACL and these analyses, a new CL loss is proposed. Experimental results validate the effectiveness of our approach to escape UTD, which can achieve state-of-the-art performance and training with fewer negative samples.
翻译:对比学习(CL)在学习可转移的表达方式方面取得了显著成功。 已经发现CL损失的温度 $ $ tau 值在自动集中到硬性负抽样方面起着关键作用。 但是,最近的工作还表明,与$ $ 相连接的统一容忍困境(UTD) 与 $ tau 美元相关,这会导致意想不到的性能退化。 我们认为,与UTD和不理想的嵌入空间有着不可分的联系的正是温度固定性。为了应对UTD的挑战,我们通过推出示范-意识反向学习(MACL)战略来丰富CL损失家庭。在MACL 中,温度样本的温度参数适应于反映实例歧视任务基本信心的匹配程度。 更低的校准意味着低的阶段歧视,因此更低的类似性能区域含有潜在的正样(LPs) 。 因此, 小 $ $ 就能对硬性样本施加更大的惩罚来学习一致的嵌入。 相反, 在一个经过良好训练的阶段, 更大的 $ tau $, 有助于 探索反映 递增的CL 度 度 度 的递增 度 度 校准 校正级 的 校准 校准 校准 校准, 校准 校准 的 校准 校准 校准 校准 校验 校验 校验 校验 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 制 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校 校