We present a framework for training GANs with explicit control over generated images. We are able to control the generated image by settings exact attributes such as age, pose, expression, etc. Most approaches for editing GAN-generated images achieve partial control by leveraging the latent space disentanglement properties, obtained implicitly after standard GAN training. Such methods are able to change the relative intensity of certain attributes, but not explicitly set their values. Recently proposed methods, designed for explicit control over human faces, harness morphable 3D face models to allow fine-grained control capabilities in GANs. Unlike these methods, our control is not constrained to morphable 3D face model parameters and is extendable beyond the domain of human faces. Using contrastive learning, we obtain GANs with an explicitly disentangled latent space. This disentanglement is utilized to train control-encoders mapping human-interpretable inputs to suitable latent vectors, thus allowing explicit control. In the domain of human faces we demonstrate control over identity, age, pose, expression, hair color and illumination. We also demonstrate control capabilities of our framework in the domains of painted portraits and dog image generation. We demonstrate that our approach achieves state-of-the-art performance both qualitatively and quantitatively.


翻译:我们为培训GAN提供了一种框架,对生成的图像进行明确控制。我们能够控制由年龄、姿势、表达方式等设置的确切属性所生成的图像。 编辑 GAN 生成图像的大多数方法都通过利用在标准GAN 培训后间接获得的潜在空间分解特性实现部分控制。 这些方法能够改变某些属性的相对强度,但没有明确设定其值。 最近提出的方法,为明确控制人类表面而设计,利用可变3D面型模型,以允许在GAN 中进行细微的控制能力。 与这些方法不同,我们的控制不局限于可变形的 3D 面型模型参数,并且可以扩展到人类面部领域以外。 我们通过对比性学习获得GAN, 我们得到了一个明确分解的潜在空间。 这种分解方法被用来训练控制器对合适的潜伏矢量矢量的人类内输入进行绘图,从而允许明确控制。 在人类表面领域,我们展示了对身份、年龄、面貌、表、发色和污色的控制。 我们还展示了我们框架的控制能力,在图像和定量生成领域实现了。

5
下载
关闭预览

相关内容

生成对抗网络GAN在各领域应用研究进展(中文版),37页pdf
专知会员服务
149+阅读 · 2020年12月30日
GANs最新进展,30页ppt,GANs: the story so far
专知会员服务
42+阅读 · 2020年8月2日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
75+阅读 · 2020年7月26日
【google】监督对比学习,Supervised Contrastive Learning
专知会员服务
30+阅读 · 2020年4月23日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
GAN | GAN介绍(1)
中国科学院网络数据重点实验室
17+阅读 · 2017年7月26日
Arxiv
7+阅读 · 2020年10月9日
Arxiv
5+阅读 · 2018年5月1日
VIP会员
相关资讯
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
GAN | GAN介绍(1)
中国科学院网络数据重点实验室
17+阅读 · 2017年7月26日
Top
微信扫码咨询专知VIP会员