Dense correspondence across semantically related images has been extensively studied, but still faces two challenges: 1) large variations in appearance, scale and pose exist even for objects from the same category, and 2) labeling pixel-level dense correspondences is labor intensive and infeasible to scale. Most existing approaches focus on designing various matching approaches with fully-supervised ImageNet pretrained networks. On the other hand, while a variety of self-supervised approaches are proposed to explicitly measure image-level similarities, correspondence matching the pixel level remains under-explored. In this work, we propose a multi-level contrastive learning approach for semantic matching, which does not rely on any ImageNet pretrained model. We show that image-level contrastive learning is a key component to encourage the convolutional features to find correspondence between similar objects, while the performance can be further enhanced by regularizing cross-instance cycle-consistency at intermediate feature levels. Experimental results on the PF-PASCAL, PF-WILLOW, and SPair-71k benchmark datasets demonstrate that our method performs favorably against the state-of-the-art approaches. The source code and trained models will be made available to the public.


翻译:与地震有关的图像的强烈对应性已得到广泛研究,但仍面临两个挑战:(1) 外观、比例和面貌的差别很大,即使是同一类别的物体也是如此;(2) 标签像素级密集的对应性是劳动密集和无法规模化的。大多数现有方法侧重于设计与完全监督的图像网预设网络的匹配方法。另一方面,虽然提出了各种自我监督的方法,以明确测量图像级的相似性,但与像素级相匹配的对应的对应性仍然未得到充分开发。在这项工作中,我们建议对语义匹配采用多层次的对比性学习方法,不依赖任何图像网预设模型。我们表明,图像级对比性学习是一个关键组成部分,可以鼓励进化特征在类似对象之间找到对应性,同时通过在中间特征级实现跨 Incent 周期一致性的正规化,可以进一步提高性能。PF-PASACAL、PF-WILOLW和SPair-71k基准数据集的实验结果显示,我们所采用的方法将优于现有的公共代码源。

0
下载
关闭预览

相关内容

专知会员服务
88+阅读 · 2021年6月29日
【MIT】反偏差对比学习,Debiased Contrastive Learning
专知会员服务
90+阅读 · 2020年7月4日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
103+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
VIP会员
Top
微信扫码咨询专知VIP会员