NVIDIA/悉尼科技大学/澳洲国立大学新作：用GAN生成高质量行人图像，辅助行人重识别

2019 年 5 月 21 日 极市平台

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~

作者 | 郑哲东（Layumi1993）

https://blog.csdn.net/Layumi1993/article/details/90257375

已获作者授权，请勿二次转载

今天要介绍的论文是英伟达NVIDIA，悉尼科技大学UTS，澳大利亚国立大学ANU在CVPR19上的Oral文章， Joint Discriminative and Generative Learning for Person Re-identification.

本文生成了高质量的行人图像，将其与行人重识别模型融合，来达到高质量行人生成图像辅助行人重识别训练，提升行人重识别精度的目标。

论文链接：https://arxiv.org/abs/1904.07223

B 站视频：

https://www.bilibili.com/video/av51439240/

腾讯视频：

Why：（之前论文的痛点有哪些？）

之前工作生成的行人图像质量相对低。（主要体现在两点：1.行人不够真实[1,2],图像模糊[4],背景不真实[3]； 2.需要额外的人体骨架或者属性标注[3,4] ）
若使用这些数据来训练行人重识别模型，会引入一些bias。故之前的工作，要么设计smooth的loss [1,2]，要么需要训练一个生成图像的模型做融合[3]，要么就是完全不用生成的图像去训练[4]。
同时，由于数据集的限制，行人重识别的训练集数据量一般在2W左右，远小于ImageNet等数据集，容易过拟合的问题也一直没有很好解决。

What：（这篇论文提出了什么，解决了什么问题）

不需要额外标注（如pose，attribute，keypoints等），就能生成高质量行人图像。通过交换提取出的特征，来实现两张行人图像的外表互换。这些外表都是训练集中真实存在的变化，而不是随机噪声。

不需要part matching来提升行人重识别的结果。只是让模型看更多训练样本。给定N张图像，可以生成NxN的训练图像来训练。(下图第一行和第一列为真实图像输入，其余都为生成图像)

将生成器中的Encoder 换成reID的模型。通过将reID的特征提供给Decoder，来提升生成质量。同时生成的图像再feed back 给Encoder来微调Encoder。

How：（这篇文章是怎么达到这个目标）

特征的定义：
在本文中，我们首先定义了两种特征。一种为外表特征，一种为结构特征。外表特征与行人的ID相关，结构特征与low-level的视觉特征相关。

生成的部分：

1.同ID重构：相同人不同照片的appearance code应该是相同的。如下图，

我们可以有一个自我重构的loss（上方，类似auto-encoder），还可以用同ID的postive sample来构建生成图像。这里我们用了pixel-level的L1 Loss。

2.不同ID生成：这是最关键的部分。给定两张输入图像，我们可以交换他们的appearance 和 structure code来生成有意思的两个输出，如下图。对应的损失有：维持真实性的GAN Loss，生成图像还能重构出对应的a/s的特征重构损失。

我们的网络中没有随机的部分，所以生成图像的变化都是来自训练集本身。故更接近原始的训练集。

reID的部分：
对于真实图像，我们仍旧使用分类的cross entropy loss。
对于生成图像，我们使用了两个loss，一个为L_{prime}，通过训好的baseline模型当老师，来提供生成图像的soft label，最小化预测结果和老师模型的KL距离。另一个loss，来挖掘一些图像变了appearance后，仍保留的细节信息，为L_{fine}。（具体细节可以见论文。）

Results：

定性指标：

1.外表互换，我们在三个数据集上测试了结果，可以看到对于遮挡/大的光照变化，我们的方法都相对鲁棒。

2.外表插值。网络是不是记住了生成图像的样子。故我们做了一个逐渐改变appearance的实验，可以看到外表是逐渐并且smooth地改变的。

3.失败的案例。不常见的图案如logo无法还原。

定量指标：

4.生成图像的真实度（FID）和多样性（SSIM）比较。FID越小越好，SSIM越大越好。

5.在多个数据集上的reID结果 (Market-1501, DukeMTMC-reID, MSMT17, CUHK03-NP)。

附：视频Demo

B 站视频备份： https://www.bilibili.com/video/av51439240/

腾讯视频备份： https://v.qq.com/x/page/t0867x53ady.html

最后，感谢大家看完。因为我们也处在初步尝试和探索阶段，所以不可避免地会对一些问题思考不够全面。如果大家发现有不清楚的地方，欢迎提出宝贵意见并与我们一起讨论，谢谢!

参考文献

[1] Z. Zheng, L. Zheng, and Y. Yang. Unlabeled samples generated by gan improve the person re-identification baseline in vitro. ICCV, 2017.

[2] Y. Huang, J. Xu, Q. Wu, Z. Zheng, Z. Zhang, and J. Zhang. Multi-pseudo regularized label for generated samples in person reidentification. TIP, 2018.

[3] X. Qian, Y. Fu, T. Xiang, W. Wang, J. Qiu, Y. Wu, Y.-G. Jiang, and X. Xue. Pose-normalized image generation for person reidentification. ECCV, 2018.

[4] Y. Ge, Z. Li, H. Zhao, G. Yin, X. Wang, and H. Li. Fd-gan: Pose-guided feature distilling gan for robust person re-identification. In NIPS, 2018.

作者简介

本文的第一作者郑哲东是悉尼科技大学计算机科学学院的博士生，预计2021年 6 月毕业。该论文是其在英伟达实习期间的成果。

郑哲东目前已经发表8篇论文。其中一篇为ICCV17 spotlight，被引用超过了300次。首次提出了利用GAN生成的图像辅助行人重识别的特征学习。一篇TOMM期刊论文被Web of Science选为2018年高被引论文，被引用超过200次。同时，他还为社区贡献了行人重识别问题的基准代码，在Github上star超过了1000次，被广泛采用。

另外，论文的其他作者包括英伟达研究院的视频领域专家 - 杨晓东、人脸领域专家禹之鼎（Sphere Face，LargeMargin作者）、行人重识别专家郑良博士，郑哲东的导师杨易教授（今年有三篇 CVPR oral 中稿）、和英伟达研究院的VP Jan Kautz等。

郑哲东个人网站：http://zdzheng.xyz/