近年来,判别性自监督方法在推进各种视觉任务方面取得了显著进展。学习对数据失真/增强鲁棒的数据编码器的核心思想虽然简单,但非常有效。尽管许多研究已经证明了各种学习方法的实证成功,但所学到的表示可能表现出不稳定性,从而妨碍了下游性能。在本研究中,我们从因果关系的角度分析判别性自监督方法,以解释这些不稳定的行为,并提出解决方案。我们的方法受到先前工作的启发,这些工作实证地证明了判别性自监督方法在一定程度上解混真实因果源的能力。与之前关于因果性强化表示学习的工作不同,我们并不在训练过程中应用我们的解决方案,而是在推理过程中应用,以提高时间效率。通过在受控的图像数据集和真实的图像数据集上的实验,我们展示了我们提出的解决方案,即使用受控的合成数据对线性变换进行调整,可以有效地解决这些问题。

https://www.zhuanzhi.ai/paper/a12a83a223e43673f6a8d0368b20e490

成为VIP会员查看完整内容
29

相关内容

【ICML2023】知识蒸馏对模型可解释性的影响
专知会员服务
36+阅读 · 2023年5月27日
【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
36+阅读 · 2022年7月11日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
37+阅读 · 2021年6月3日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
55+阅读 · 2021年3月31日
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
47+阅读 · 2020年9月28日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
61+阅读 · 2020年5月25日
【NeurIPS2022】分布外序列事件预测:因果处理
【NeurIPS2022】分布式自适应元强化学习
专知
3+阅读 · 2022年10月8日
【ICML2022】熵因果推理:图的可辨识性
专知
1+阅读 · 2022年8月6日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
158+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
408+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2023年3月26日
Arxiv
147+阅读 · 2023年3月24日
VIP会员
相关VIP内容
【ICML2023】知识蒸馏对模型可解释性的影响
专知会员服务
36+阅读 · 2023年5月27日
【ICML2022】基于少样本策略泛化的决策Transformer
专知会员服务
36+阅读 · 2022年7月11日
专知会员服务
16+阅读 · 2021年8月6日
专知会员服务
11+阅读 · 2021年7月16日
专知会员服务
37+阅读 · 2021年6月3日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
55+阅读 · 2021年3月31日
【ICLR2021】对未标记数据进行深度网络自训练的理论分析
【NeurIPS2020】可处理的反事实推理的深度结构因果模型
专知会员服务
47+阅读 · 2020年9月28日
【KDD2020】多源深度域自适应的时序传感数据
专知会员服务
61+阅读 · 2020年5月25日
相关资讯
【NeurIPS2022】分布外序列事件预测:因果处理
【NeurIPS2022】分布式自适应元强化学习
专知
3+阅读 · 2022年10月8日
【ICML2022】熵因果推理:图的可辨识性
专知
1+阅读 · 2022年8月6日
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
【AAAI2021】自监督对应学习的对比转换
专知
12+阅读 · 2020年12月11日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
38+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员