We investigate the training and performance of generative adversarial networks using the Maximum Mean Discrepancy (MMD) as critic, termed MMD GANs. As our main theoretical contribution, we clarify the situation with bias in GAN loss functions raised by recent work: we show that gradient estimators used in the optimization process for both MMD GANs and Wasserstein GANs are unbiased, but learning a discriminator based on samples leads to biased gradients for the generator parameters. We also discuss the issue of kernel choice for the MMD critic, and characterize the kernel corresponding to the energy distance used for the Cramer GAN critic. Being an integral probability metric, the MMD benefits from training strategies recently developed for Wasserstein GANs. In experiments, the MMD GAN is able to employ a smaller critic network than the Wasserstein GAN, resulting in a simpler and faster-training algorithm with matching performance. We also propose an improved measure of GAN convergence, the Kernel Inception Distance, and show how to use it to dynamically adapt learning rates during GAN training.


翻译:作为我们的主要理论贡献,我们澄清了最近工作引发的GAN损失功能中的偏差:我们显示,MMD GANs和Wasserstein GANs在优化过程中使用的梯度估计器是不带偏见的,但根据样本学习的偏差导致发电机参数的偏差梯度。我们还讨论MMD评论家的内核选择问题,并描述与Cramer GAN评论家使用的能源距离相对应的内核。MMD从最近为Wasserstein GANs制定的培训战略中获益,作为一个整体概率指标。在实验中,MMDGAN能够使用比Wasserstein GAN更小的批评网络,从而产生一个更简单、更快的培训算法与性能匹配。我们还提出了改进GAN趋同度、Kernel Invion距离,并展示如何在GAN培训期间使用GAN的动态调整学习率。

12
下载
关闭预览

相关内容

【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
39+阅读 · 2020年7月4日
【论文】结构GANs,Structured GANs,
专知会员服务
12+阅读 · 2020年1月16日
生成式对抗网络GAN异常检测
专知会员服务
97+阅读 · 2019年10月13日
关于GANs在医学图像领域应用的总结
计算机视觉life
11+阅读 · 2019年7月25日
生成对抗网络GANs学习路线
专知
32+阅读 · 2019年6月10日
揭开GANs的神秘面纱
机器学习算法与Python学习
10+阅读 · 2019年2月27日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
GANs正在多个层面有所突破
大数据文摘
3+阅读 · 2017年10月24日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
Arxiv
8+阅读 · 2019年2月15日
Arxiv
6+阅读 · 2018年11月29日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
5+阅读 · 2018年1月30日
VIP会员
相关资讯
关于GANs在医学图像领域应用的总结
计算机视觉life
11+阅读 · 2019年7月25日
生成对抗网络GANs学习路线
专知
32+阅读 · 2019年6月10日
揭开GANs的神秘面纱
机器学习算法与Python学习
10+阅读 · 2019年2月27日
强化学习的Unsupervised Meta-Learning
CreateAMind
8+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
22+阅读 · 2019年1月4日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
GANs正在多个层面有所突破
大数据文摘
3+阅读 · 2017年10月24日
Auto-Encoding GAN
CreateAMind
5+阅读 · 2017年8月4日
相关论文
Arxiv
8+阅读 · 2019年2月15日
Arxiv
6+阅读 · 2018年11月29日
Arxiv
7+阅读 · 2018年6月8日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
5+阅读 · 2018年1月30日
Top
微信扫码咨询专知VIP会员