We introduce an effective model to overcome the problem of mode collapse when training Generative Adversarial Networks (GAN). Firstly, we propose a new generator objective that finds it better to tackle mode collapse. And, we apply an independent Autoencoders (AE) to constrain the generator and consider its reconstructed samples as "real" samples to slow down the convergence of discriminator that enables to reduce the gradient vanishing problem and stabilize the model. Secondly, from mappings between latent and data spaces provided by AE, we further regularize AE by the relative distance between the latent and data samples to explicitly prevent the generator falling into mode collapse setting. This idea comes when we find a new way to visualize the mode collapse on MNIST dataset. To the best of our knowledge, our method is the first to propose and apply successfully the relative distance of latent and data samples for stabilizing GAN. Thirdly, our proposed model, namely Generative Adversarial Autoencoder Networks (GAAN), is stable and has suffered from neither gradient vanishing nor mode collapse issues, as empirically demonstrated on synthetic, MNIST, MNIST-1K, CelebA and CIFAR-10 datasets. Experimental results show that our method can approximate well multi-modal distribution and achieve better results than state-of-the-art methods on these benchmark datasets. Our model implementation is published here: https://github.com/tntrung/gaan


翻译:我们引入了一种有效的模式来克服模式崩溃问题。 首先,我们提出一个新的生成者目标,发现如何更好地应对模式崩溃。 并且,我们运用一个独立的自动校对器(AE)来限制生成器,并将其重建的样本视为“真实”样本,以减缓歧视器的趋同,从而能够减少渐变消失问题并稳定模型。 其次,从AE提供的潜伏空间和数据空间之间的绘图中,我们通过潜伏和数据样本之间的相对距离来进一步规范AE,以明确防止发电机进入模式崩溃的设置。 当我们找到新的方法来将模式崩溃在MNIST数据集上进行视觉化时,我们就会发现新的生成器目标。 就我们的知识而言,我们的方法是首先提出并成功应用潜伏和数据样本的相对距离来稳定GAN。 第三,我们提议的模型,即Genementive Aversarial自动计算机网络(GAAN)是稳定的,并且没有因渐渐渐消失或模式崩溃问题而受到影响,正如在合成、MNIST-1K、 CelebA-CA和CIFAR10数据分布方法上的经验所显示的这些数据结果比我们的数据/MIT-MIT-MIT-MIT-MIT-B-MIT-MIT-MIT-C-C-C-CARC-DR-DR-BS-Bs。

10
下载
关闭预览

相关内容

模式崩溃(Mode collapse):生成器产生单个或有限的模式。理想情况下,生成模型应该能够生成10个数字,如果只能生成其中的几个,而错失其它的模式,则我们称这种现象为模式崩溃(mode collapse)。
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
生成对抗网络GANs学习路线
专知
36+阅读 · 2019年6月10日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
8+阅读 · 2019年2月15日
Arxiv
7+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
10+阅读 · 2018年2月17日
Arxiv
5+阅读 · 2018年1月30日
VIP会员
相关VIP内容
【ACL2020-Allen AI】预训练语言模型中的无监督域聚类
专知会员服务
23+阅读 · 2020年4月7日
Top
微信扫码咨询专知VIP会员