CVPR 2019 Oral | 华科开源效果超群的人体姿态迁移算法

2019 年 4 月 26 日 极市平台

加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！

同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。点击文末“阅读原文”立刻申请入群~

CVPR2019 accepted list ID已经放出，极市已将目前收集到的公开论文总结到github上（目前已收集510篇），后续会不断更新，欢迎关注，也欢迎大家提交自己的论文：

https://github.com/extreme-assistant/cvpr2019

今天为大家推荐一篇人体姿态迁移算法~

作者 | CV君

来源 | 我爱计算机视觉

今天跟大家重磅介绍华中科技大学刚刚开源的一款人体姿态迁移算法，其基于GAN思想构建，效果好到简直令人不可思议，论文《Progressive Pose Attention Transfer for Person Image Generation》已中 CVPR 2019 Oral，非常值得一读～

作者信息：

论文出自华科白翔老师组，作者单位分别为华中科技大学、微软Redmond，中兴集团。

什么是姿态迁移？

简单点说，就是给定一幅含有人物的图片和一个目标姿态，将图片内人物转换成目标姿态的样子。当然目标姿态可以是从其他图片人物中计算得来的。（所以也可以将一幅图片的人物转成另一图片内人物的姿态）

这听起来就是一项黑科技。

很显然这是一个很有趣的应用，比如给定一幅人物图像，可以将里面人物按照另一段视频里的人物变换姿态。只需要一幅你的图片，就能让你跳出优美的舞蹈～

不过，毕竟一幅图片信息有限，转换后不会惨不忍睹吧。

下图是该论文算法实现的效果（请务必点击查看大图！）。这里的目标姿态使用线段连线表示。

难以置信，图片下面6幅生成的结果图片是靠左边的一幅图生成出来的！点击大图查看，你会发现细节很清晰！

尽管只有侧颜侧身照，但不耽误我们360度看美女^_^是不是很神奇～

算法原理

首先我们先看看作者在这个过程中使用的数据，首先是一幅图片Condition image Pc，与该图片中使用姿态估计算法提取的姿态Condition Pose Sc，还有目标姿态Target Pose St。

作者提出了一种称之为Progressive Pose Attention Transfer（渐进的姿态注意力迁移）模型。

作者基于GAN思想构建算法。对于输入的人物图片和姿态，生成新的人体姿态图片和姿态，并有两个判别器，一个纹理判别器一个形状判别器，判断生成器生成的人物图片和姿态是不是真实的。

姿态迁移是由生成器完成。下图表达了作者设计的生成器的算法架构。

在Pose-Attentional Transfer Network中含有多个Pose Attentional Block，其作用是对输入的image pathway和pose pathway按照Pose Mask进行更新，图中Mt即为Pose Mask，它引导网络将图片中人物的不同的部分按照目标姿态进行像素块迁移。

将最后一个Block中Image Pathway的数据经过解码网络，即得到了最终的生成图像。