Self-supervised learning has recently shown great potential in vision tasks through contrastive learning which aims to discriminate each image, or instance, in the dataset. However, such instance-level learning ignores the semantic relationship among instances and sometimes undesirably repels the anchor from the semantically similar samples, termed as "false negatives". In this work, we show that the unfavorable effect from false negatives is more significant for the large-scale datasets with more semantic concepts. To address the issue, we propose a novel self-supervised contrastive learning framework that incrementally detects and explicitly removes the false negative samples. Specifically, following the training process, our method dynamically detects increasing high-quality false negatives considering that the encoder gradually improves and the embedding space becomes more semantically structural. Next, we discuss two strategies to explicitly remove the detected false negatives during contrastive learning. Extensive experiments show that our framework outperforms other self-supervised contrastive learning methods on multiple benchmarks in a limited resource setup.


翻译:自我监督的学习最近通过对比学习展示了视觉任务的巨大潜力。 对比学习的目的是在数据集中区分每个图像或实例。 但是,这样的实例级学习忽略了各种实例之间的语义关系,有时不理想地将锚从语义相似的样本中反射出来,称为“ 假阴性 ” 。 在这项工作中, 我们显示假阴性效应对于具有更多语义概念的大型数据集来说更为重要。 为了解决这个问题, 我们提出了一个全新的自我监督对比学习框架, 逐步检测并明确删除假阴性样本。 具体地说, 在培训过程之后, 我们的方法动态地检测出质量更高的假阴性, 因为编码器正在逐渐改善,嵌入的空间在语义结构上变得更强。 接下来, 我们讨论两个战略, 在对比学习过程中明确消除所发现的假阴性。 广泛的实验显示, 我们的框架在有限资源设置的多个基准上比其他自我监督的反向学习方法要强得多。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年9月16日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
79+阅读 · 2020年6月11日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
31+阅读 · 2020年4月23日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
7+阅读 · 2018年8月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
7+阅读 · 2020年10月9日
Arxiv
5+阅读 · 2020年10月2日
Deep Learning for Generic Object Detection: A Survey
Arxiv
13+阅读 · 2018年9月6日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
已删除
将门创投
7+阅读 · 2018年8月28日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员