Person Re-identification (re-id) faces two major challenges: the lack of cross-view paired training data and learning discriminative identity-sensitive and view-invariant features in the presence of large pose variations. In this work, we address both problems by proposing a novel deep person image generation model for synthesizing realistic person images conditional on pose. The model is based on a generative adversarial network (GAN) and used specifically for pose normalization in re-id, thus termed pose-normalization GAN (PN-GAN). With the synthesized images, we can learn a new type of deep re-id feature free of the influence of pose variations. We show that this feature is strong on its own and highly complementary to features learned with the original images. Importantly, we now have a model that generalizes to any new re-id dataset without the need for collecting any training data for model fine-tuning, thus making a deep re-id model truly scalable. Extensive experiments on five benchmarks show that our model outperforms the state-of-the-art models, often significantly. In particular, the features learned on Market-1501 can achieve a Rank-1 accuracy of 68.67% on VIPeR without any model fine-tuning, beating almost all existing models fine-tuned on the dataset.


翻译:重新定位(重新定位)面临两大挑战:缺乏交叉对比培训数据和学习歧视性的、对身份敏感和视异特征的深重重新定位数据,在存在巨大变异的情况下,存在着巨大的差异。在这项工作中,我们通过提出一个新的深层人图像生成模型,以合成以姿势为条件的现实个人图像,来解决这两个问题。模型基于基因对抗网络(GAN),并专门用于使重新定位正常化,因此被称为“面貌正常化GAN(PN-GAN) ” 。综合图像显示,我们可以学习一种新的深层再定位特征,而不受各种变异的影响。我们表明,这一特征本身很强,与原始图像所学习的特征高度互补。重要的是,我们现在有一个模型可以概括任何新的再定位数据集,而无需为模型微调收集任何培训数据,从而使深层再定位模型真正可缩缩缩缩缩缩缩。关于五个基准的广泛实验显示,我们的模型超越了最先进的模型,往往不受各种变异影响。我们表明,这一特征本身非常强大,而且与原始图像所学的特征高度互补。重要的是,即几乎调整了市场-1501上的所有甚高价模型。

5
下载
关闭预览

相关内容

深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
PTGAN for Person Re-Identification
统计学习与视觉计算组
4+阅读 · 2018年9月10日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Adversarial Metric Attack for Person Re-identification
Arxiv
4+阅读 · 2018年5月4日
VIP会员
相关VIP内容
深度强化学习策略梯度教程,53页ppt
专知会员服务
175+阅读 · 2020年2月1日
[综述]深度学习下的场景文本检测与识别
专知会员服务
76+阅读 · 2019年10月10日
Top
微信扫码咨询专知VIP会员