Due to unreliable geometric matching and content misalignment, most conventional pose transfer algorithms fail to generate fine-trained person images. In this paper, we propose a novel framework Spatial Content Alignment GAN (SCAGAN) which aims to enhance the content consistency of garment textures and the details of human characteristics. We first alleviate the spatial misalignment by transferring the edge content to the target pose in advance. Secondly, we introduce a new Content-Style DeBlk which can progressively synthesize photo-realistic person images based on the appearance features of the source image, the target pose heatmap and the prior transferred content in edge domain. We compare the proposed framework with several state-of-the-art methods to show its superiority in quantitative and qualitative analysis. Moreover, detailed ablation study results demonstrate the efficacy of our contributions. Codes are publicly available at github.com/rocketappslab/SCA-GAN.


翻译:由于不可靠的几何匹配和内容不匹配,大多数常规的传输算法无法产生经过精细训练的人图像。 在本文中,我们提出一个新的框架“空间内容协调GAN”(SACGAN),目的是提高服装纹理和人类特征细节的内容一致性。我们首先通过提前将边缘内容移到目标显示的位置来缓解空间不匹配。第二,我们引入一个新的内容-Style DeBlk, 能够根据来源图像的外观特征、目标成色图和先前在边缘区域传输的内容,逐步合成照片-现实性个人图像。我们将拟议框架与若干最新方法进行比较,以显示其在定量和定性分析中的优越性。此外,详细的缩略研究结果表明我们的贡献的有效性。在 github.com/rocketapaplaslab/SCA-GAN上公开提供代码。

0
下载
关闭预览

相关内容

【DeepMind】CrossTransformers: 空间感知的小样本迁移
专知会员服务
39+阅读 · 2020年7月26日
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
52+阅读 · 2019年9月29日
CVPR2020接收论文开源代码
专知
30+阅读 · 2020年2月29日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
已删除
将门创投
3+阅读 · 2018年8月21日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Arxiv
0+阅读 · 2021年5月20日
SwapText: Image Based Texts Transfer in Scenes
Arxiv
4+阅读 · 2020年3月18日
Arxiv
7+阅读 · 2018年1月21日
VIP会员
相关资讯
CVPR2020接收论文开源代码
专知
30+阅读 · 2020年2月29日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
已删除
将门创投
3+阅读 · 2018年8月21日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Top
微信扫码咨询专知VIP会员