【CVPR2022】用于全身图像生成的 InsetGAN

【 摘 要 】
虽然 GAN 可以在某些领域的理想条件下生成照片般逼真的图像，但由于身份、发型、服装的多样性和姿势的变化，全身人体图像的生成仍然很困难。我们没有用单个 GAN 对这个复杂的领域进行建模，而是提出了一种新的方法来组合多个预训练的GAN，其中一个 GAN 生成全局画布（例如，人体）和一组专门的 GAN，或插图，专注于可以无缝插入到全局画布上的不同部分（例如，脸、手）。我们将问题建模为共同探索各自的潜在空间，以便通过将来自专用生成器的部分插入到全局画布上来组合生成的图像，而不引入接缝。我们通过将全身 GAN 与专用的高质量人脸 GAN 相结合来展示该设置，以产生看起来似是而非的人类。我们使用定量指标和用户研究来评估我们的结果。

【 InsetGAN 结果​ 】
展示了几个 StyleGAN2 生成的全身人体示例的比较。我们专注于在我们生成的结果中经常出现不需要的伪影的区域。使用我们的 InsetGAN 方法，我们能够使用专用模型生成面部和鞋子，并为各自的组合生成适当的身体。结果在三个不同的生成器模型的输出之间产生了无缝转换。 ​

​project：https://afruehstueck.github.io/insetgan/

paper​：https://afruehstueck.github.io/assets/publications/insetGAN.pdf