Empirical works suggest that various semantics emerge in the latent space of Generative Adversarial Networks (GANs) when being trained to generate images. To perform real image editing, it requires an accurate mapping from the real image to the latent space to leveraging these learned semantics, which is important yet difficult. An in-domain GAN inversion approach is recently proposed to constraint the inverted code within the latent space by forcing the reconstructed image obtained from the inverted code within the real image space. Empirically, we find that the inverted code by the in-domain GAN can deviate from the latent space significantly. To solve this problem, we propose a force-in-domain GAN based on the in-domain GAN, which utilizes a discriminator to force the inverted code within the latent space. The force-in-domain GAN can also be interpreted by a cycle-GAN with slight modification. Extensive experiments show that our force-in-domain GAN not only reconstructs the target image at the pixel level, but also align the inverted code with the latent space well for semantic editing.


翻译:经验性工程表明, 各种语义学在培养图像时出现在 Generation Adversarial Network (GANs) 的潜在空间中。 为了进行真实的图像编辑, 它需要从真实的图像到潜在空间进行精确的映射, 以便利用这些已经学到的语义学, 这很重要 。 最近提议了一种在内部的 GAN 反演法, 以限制在潜在空间中的反向代码。 强迫从真实图像空间的反向代码中获得的重建图像, 从而限制在潜在空间中的反向代码 。 抽象地说, 我们发现, 内部GAN 的反向代码可以显著地偏离隐藏空间 。 为了解决这个问题, 我们提议了以内部 GAN 为基础, 以内部GAN 为主, 使用歧视器在潜在空间中强制使用反向代码。 边部的GAN 也可以被循环的GAN 解释, 并稍作修改 。 广泛的实验显示, 我们的GAN 内部GAN 不仅在像素层重建目标图像, 而且还将内代码与深层空间修改。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年7月4日
专知会员服务
48+阅读 · 2021年6月12日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
36+阅读 · 2020年9月2日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
29+阅读 · 2020年4月6日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
计算机视觉最佳实践、代码示例和相关文档
专知会员服务
19+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
带你读论文 | 生成对抗网络GAN论文TOP 10
微软研究院AI头条
24+阅读 · 2019年4月11日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
5+阅读 · 2021年1月7日
Arxiv
3+阅读 · 2020年7月16日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月17日
VIP会员
相关VIP内容
专知会员服务
42+阅读 · 2021年7月4日
专知会员服务
48+阅读 · 2021年6月12日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
36+阅读 · 2020年9月2日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
29+阅读 · 2020年4月6日
强化学习最新教程,17页pdf
专知会员服务
177+阅读 · 2019年10月11日
计算机视觉最佳实践、代码示例和相关文档
专知会员服务
19+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
带你读论文 | 生成对抗网络GAN论文TOP 10
微软研究院AI头条
24+阅读 · 2019年4月11日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
19+阅读 · 2021年1月14日
Arxiv
5+阅读 · 2021年1月7日
Arxiv
3+阅读 · 2020年7月16日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
4+阅读 · 2018年4月17日
Top
微信扫码咨询专知VIP会员