Vehicle re-identification (re-ID) focuses on matching images of the same vehicle across different cameras. It is fundamentally challenging because differences between vehicles are sometimes subtle. While several studies incorporate spatial-attention mechanisms to help vehicle re-ID, they often require expensive keypoint labels or suffer from noisy attention mask if not trained with expensive labels. In this work, we propose a dedicated Semantics-guided Part Attention Network (SPAN) to robustly predict part attention masks for different views of vehicles given only image-level semantic labels during training. With the help of part attention masks, we can extract discriminative features in each part separately. Then we introduce Co-occurrence Part-attentive Distance Metric (CPDM) which places greater emphasis on co-occurrence vehicle parts when evaluating the feature distance of two images. Extensive experiments validate the effectiveness of the proposed method and show that our framework outperforms the state-of-the-art approaches.


翻译:车辆再识别(re-ID)侧重于在不同相机上对同一车辆的图像进行匹配,这具有根本性的挑战性,因为车辆之间的差异有时很微妙。虽然一些研究纳入了空间注意机制,以帮助车辆再识别,但往往需要昂贵的钥匙点标签,或者如果没有经过昂贵标签的培训,它们往往会受到吵闹的注意面罩。在这项工作中,我们提议建立一个专门的语义引导部分注意网络(SPAN),以强有力地预测对车辆不同观点的部分注意面罩,在培训期间只给图像级语义标签。在部分注意面罩的帮助下,我们可以在每一部分中分别提取歧视特征。然后我们引入“共同注意部分远程计量”(CPDM),在评价两种图像的特征距离时,更多地强调相互重叠的车辆部件。广泛的实验验证了拟议方法的有效性,并表明我们的框架超越了最先进的方法。

0
下载
关闭预览

相关内容

Attention机制最早是在视觉图像领域提出来的,但是真正火起来应该算是google mind团队的这篇论文《Recurrent Models of Visual Attention》[14],他们在RNN模型上使用了attention机制来进行图像分类。随后,Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align and Translate》 [1]中,使用类似attention的机制在机器翻译任务上将翻译和对齐同时进行,他们的工作算是是第一个提出attention机制应用到NLP领域中。接着类似的基于attention机制的RNN模型扩展开始应用到各种NLP任务中。最近,如何在CNN中使用attention机制也成为了大家的研究热点。下图表示了attention研究进展的大概趋势。
专知会员服务
111+阅读 · 2020年6月26日
专知会员服务
109+阅读 · 2020年3月12日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
PTGAN for Person Re-Identification
统计学习与视觉计算组
4+阅读 · 2018年9月10日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
Reinforcement Learning: An Introduction 2018第二版 500页
CreateAMind
11+阅读 · 2018年4月27日
Attention Network Robustification for Person ReID
Arxiv
5+阅读 · 2019年10月15日
Arxiv
11+阅读 · 2019年4月15日
VIP会员
相关VIP内容
专知会员服务
111+阅读 · 2020年6月26日
专知会员服务
109+阅读 · 2020年3月12日
Top
微信扫码咨询专知VIP会员