Transformer-based supervised pre-training achieves great performance in person re-identification (ReID). However, due to the domain gap between ImageNet and ReID datasets, it usually needs a larger pre-training dataset (e.g. ImageNet-21K) to boost the performance because of the strong data fitting ability of the transformer. To address this challenge, this work targets to mitigate the gap between the pre-training and ReID datasets from the perspective of data and model structure, respectively. We first investigate self-supervised learning (SSL) methods with Vision Transformer (ViT) pretrained on unlabelled person images (the LUPerson dataset), and empirically find it significantly surpasses ImageNet supervised pre-training models on ReID tasks. To further reduce the domain gap and accelerate the pre-training, the Catastrophic Forgetting Score (CFS) is proposed to evaluate the gap between pre-training and fine-tuning data. Based on CFS, a subset is selected via sampling relevant data close to the down-stream ReID data and filtering irrelevant data from the pre-training dataset. For the model structure, a ReID-specific module named IBN-based convolution stem (ICS) is proposed to bridge the domain gap by learning more invariant features. Extensive experiments have been conducted to fine-tune the pre-training models under supervised learning, unsupervised domain adaptation (UDA), and unsupervised learning (USL) settings. We successfully downscale the LUPerson dataset to 50% with no performance degradation. Finally, we achieve state-of-the-art performance on Market-1501 and MSMT17. For example, our ViT-S/16 achieves 91.3%/89.9%/89.6% mAP accuracy on Market1501 for supervised/UDA/USL ReID. Codes and models will be released to https://github.com/michuanhaohao/TransReID-SSL.


翻译:以变压器为基础的变压器前训练在个人再识别(ReID)方面表现良好。然而,由于图像网络和ReID数据集之间存在域差,通常需要更大的培训前数据集(例如图像Net-21K),以便通过变压器强大的数据适应能力提高性能。为了应对这一挑战,我们从数据和模型结构的角度出发,为缩小培训前和ReID数据集之间的差距而设定了这项工作目标。我们首先调查了自我监督的学习方法(SSLL),在未贴标签的人图像(LUPERS数据集)上预先训练了VIV.90(VT),在经验上发现它大大超过REID任务的培训前模型(例如图像Net-21KK)。为了进一步缩小域间隙,加速培训前训练,提议将Catasriftical 遗忘评分(CFS)从数据和调整前和调整数据。根据CFSFIS,通过取样相关数据接近下流流数据,将FIID数据筛选为S-ILD数据过滤不相关的数据,在IM-ILA 数据库前的升级模型中,我们正在开始的升级的模型-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-I-I-ID-ID-ID-I-I-I-I-I-I-I-ID-I-I-I-I-ID-ID-ID-ID-ID-ID-ID-ID-ID-ID-I-I-ID-I-I-I-I-I-ID-I-I-I-I-ID-I-I-I-I-I-I-I-I-I-I-I-I

0
下载
关闭预览

相关内容

专知会员服务
75+阅读 · 2021年9月27日
【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
最新《Transformers模型》教程,64页ppt
专知会员服务
305+阅读 · 2020年11月26日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
95+阅读 · 2020年5月31日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
PTGAN for Person Re-Identification
统计学习与视觉计算组
4+阅读 · 2018年9月10日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
PTGAN for Person Re-Identification
统计学习与视觉计算组
4+阅读 · 2018年9月10日
Top
微信扫码咨询专知VIP会员