Human pose transfer aims at transferring the appearance of the source person to the target pose. Existing methods utilizing flow-based warping for non-rigid human image generation have achieved great success. However, they fail to preserve the appearance details in synthesized images since the spatial correlation between the source and target is not fully exploited. To this end, we propose the Flow-based Dual Attention GAN (FDA-GAN) to apply occlusion- and deformation-aware feature fusion for higher generation quality. Specifically, deformable local attention and flow similarity attention, constituting the dual attention mechanism, can derive the output features responsible for deformable- and occlusion-aware fusion, respectively. Besides, to maintain the pose and global position consistency in transferring, we design a pose normalization network for learning adaptive normalization from the target pose to the source person. Both qualitative and quantitative results show that our method outperforms state-of-the-art models in public iPER and DeepFashion datasets.


翻译:现有方法为非硬化的人类图像生成使用流动扭曲方法取得了巨大成功;然而,由于源和目标之间的空间相关性没有得到充分利用,这些方法未能在合成图像中保留外观细节;为此,我们提议以流动为基础的双重注意GAN(FDA-GAN)为对象,应用封闭和变异觉特征聚合来提高生成质量。具体地说,可变形的地方注意力和流动相似性关注构成双重关注机制,可以产生对变形和异相认知聚合分别负责的输出特征。此外,为了保持变形和异异异和全球位置在转移中的一致性,我们设计了一个正常化网络,从目标向源人展示的适应性正常化。质量和数量结果都表明,我们的方法超越了公共iPER和DeepFashion数据集中的最新模型。

0
下载
关闭预览

相关内容

【KDD2021】图神经网络,NUS- Xavier Bresson教授
专知会员服务
62+阅读 · 2021年8月20日
【CVPR2021】GAN人脸预训练模型
专知会员服务
23+阅读 · 2021年4月10日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
69+阅读 · 2020年10月24日
GANs最新进展,30页ppt,GANs: the story so far
专知会员服务
42+阅读 · 2020年8月2日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
4+阅读 · 2019年8月7日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员