Generative adversarial networks (GANs) are powerful tools for learning generative models. In practice, the training may suffer from lack of convergence. GANs are commonly viewed as a two-player zero-sum game between two neural networks. Here, we leverage this game theoretic view to study the convergence behavior of the training process. Inspired by the fictitious play learning process, a novel training method, referred to as Fictitious GAN, is introduced. Fictitious GAN trains the deep neural networks using a mixture of historical models. Specifically, the discriminator (resp. generator) is updated according to the best-response to the mixture outputs from a sequence of previously trained generators (resp. discriminators). It is shown that Fictitious GAN can effectively resolve some convergence issues that cannot be resolved by the standard training approach. It is proved that asymptotically the average of the generator outputs has the same distribution as the data samples.


翻译:产生对抗性网络(GANs)是学习基因模型的有力工具,在实践中,培训可能缺乏趋同性。GANs通常被视为两个神经网络之间的双玩零和游戏。在这里,我们利用这个游戏理论视角研究培训过程的趋同行为。在虚构的游戏学习过程的启发下,引入了一种称为Fictititious GAN的新型培训方法。Fictititious GAN利用各种历史模型混合对深层神经网络进行培训。具体来说,歧视者(再生发电机)是根据以前训练的发电机序列(再生导体)对混合输出的最佳反应来更新的。这表明,Fictititious GAN可以有效地解决一些无法通过标准培训方法解决的趋同性问题。事实证明,发电机产出的平均值与数据样本一样,具有同样的分布。

4
下载
关闭预览

相关内容

最新《生成式对抗网络》简介,25页ppt
专知会员服务
167+阅读 · 2020年6月28日
专知会员服务
61+阅读 · 2020年3月4日
【干货51页PPT】深度学习理论理解探索
专知会员服务
58+阅读 · 2019年12月24日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
生成对抗网络GANs学习路线
专知
36+阅读 · 2019年6月10日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
纯干货18 - 2016-2017深度学习-最新-必读-经典论文
深度学习与NLP
6+阅读 · 2017年12月23日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
相关VIP内容
最新《生成式对抗网络》简介,25页ppt
专知会员服务
167+阅读 · 2020年6月28日
专知会员服务
61+阅读 · 2020年3月4日
【干货51页PPT】深度学习理论理解探索
专知会员服务
58+阅读 · 2019年12月24日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
143+阅读 · 2019年10月12日
相关资讯
生成对抗网络GANs学习路线
专知
36+阅读 · 2019年6月10日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
纯干货18 - 2016-2017深度学习-最新-必读-经典论文
深度学习与NLP
6+阅读 · 2017年12月23日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员