Self-supervised visual representation learning aims to learn useful representations without relying on human annotations. Joint embedding approach bases on maximizing the agreement between embedding vectors from different views of the same image. Various methods have been proposed to solve the collapsing problem where all embedding vectors collapse to a trivial constant solution. Among these methods, contrastive learning prevents collapse via negative sample pairs. It has been shown that non-contrastive methods suffer from a lesser collapse problem of a different nature: dimensional collapse, whereby the embedding vectors end up spanning a lower-dimensional subspace instead of the entire available embedding space. Here, we show that dimensional collapse also happens in contrastive learning. In this paper, we shed light on the dynamics at play in contrastive learning that leads to dimensional collapse. Inspired by our theory, we propose a novel contrastive learning method, called DirectCLR, which directly optimizes the representation space without relying on a trainable projector. Experiments show that DirectCLR outperforms SimCLR with a trainable linear projector on ImageNet.


翻译:自我监督的视觉演示学习旨在学习有用的表达方式, 而不必依赖人的语义。 联合嵌入法基础 最大限度地实现嵌入矢量之间从不同角度对同一图像的不同观点之间的协议。 已经提出了各种方法来解决所有嵌入矢量都崩溃到一个微不足道的常态解决方案的崩溃问题。 在这些方法中, 对比式学习可以防止通过负样配对的崩溃。 已经证明非对抗性方法会遇到一个不同性质的较小崩溃问题: 尺寸崩溃, 嵌入的矢量最终会跨越一个低维次空间, 而不是整个可用的嵌入空间。 在这里, 我们显示, 维衰落也是在对比性学习中发生的。 在本文中, 我们展示了模拟学习的动态, 从而导致天体崩溃。 我们根据我们的理论, 我们提出了一个新的新的对比性学习方法, 称为直接CLR, 直接优化代表空间, 而不依赖一个可训练的投影仪。 实验显示, 直接CLR会超越SimCLR, 在图像网络上有一个可训练的线性投射投影仪。

0
下载
关闭预览

相关内容

【AAAI2021】对比聚类,Contrastive Clustering
专知会员服务
76+阅读 · 2021年1月30日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【ICML2020】多视角对比图表示学习,Contrastive Multi-View GRL
专知会员服务
78+阅读 · 2020年6月11日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
31+阅读 · 2020年4月23日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
163+阅读 · 2020年3月18日
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
25+阅读 · 2021年3月20日
Arxiv
11+阅读 · 2021年2月17日
Arxiv
5+阅读 · 2020年10月21日
Arxiv
7+阅读 · 2020年10月9日
VIP会员
相关资讯
【ICML2020】对比多视角表示学习
专知
19+阅读 · 2020年6月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员