This paper describes a simple technique to analyze Generative Adversarial Networks (GANs) and create interpretable controls for image synthesis, such as change of viewpoint, aging, lighting, and time of day. We identify important latent directions based on Principal Components Analysis (PCA) applied either in latent space or feature space. Then, we show that a large number of interpretable controls can be defined by layer-wise perturbation along the principal directions. Moreover, we show that BigGAN can be controlled with layer-wise inputs in a StyleGAN-like manner. We show results on different GANs trained on various datasets, and demonstrate good qualitative matches to edit directions found through earlier supervised approaches.


翻译:本文描述了一种简单的方法,用于分析创造反逆网络(GANs),并为图像合成建立可解释的控制,例如观点的改变、老化、照明和时间等。我们根据主要组成部分分析(PCA)在潜在空间或特征空间中应用,确定了重要的潜在方向。然后,我们展示了大量可解释的控制可以通过沿主要方向的分层扰动来定义。此外,我们展示了BigGAN可以用与SysteleGAN相似的方式的分层输入来控制。我们展示了在各种数据集方面受过培训的不同GANs的结果,并展示了在质量上与先前监督方法中发现的方向相匹配的编辑方法。

0
下载
关闭预览

相关内容

【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
35+阅读 · 2020年9月2日
迁移学习简明教程,11页ppt
专知会员服务
107+阅读 · 2020年8月4日
一份简单《图神经网络》教程,28页ppt
专知会员服务
123+阅读 · 2020年8月2日
【新书】Java企业微服务,Enterprise Java Microservices,272页pdf
机器学习入门的经验与建议
专知会员服务
92+阅读 · 2019年10月10日
【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
11+阅读 · 2021年2月17日
Arxiv
7+阅读 · 2018年1月21日
Arxiv
11+阅读 · 2018年1月15日
VIP会员
相关资讯
【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员