The wide applications of Generative adversarial networks benefit from the successful training methods, guaranteeing that an object function converges to the local minima. Nevertheless, designing an efficient and competitive training method is still a challenging task due to the cyclic behaviors of some gradient-based ways and the expensive computational cost of these methods based on the Hessian matrix. This paper proposed the adaptive Composite Gradients (ACG) method, linearly convergent in bilinear games under suitable settings. Theory and toy-function experiments suggest that our approach can alleviate the cyclic behaviors and converge faster than recently proposed algorithms. Significantly, the ACG method is not only used to find stable fixed points in bilinear games as well as in general games. The ACG method is a novel semi-gradient-free algorithm since it does not need to calculate the gradient of each step, reducing the computational cost of gradient and Hessian by utilizing the predictive information in future iterations. We conducted two mixture of Gaussians experiments by integrating ACG to existing algorithms with Linear GANs. Results show ACG is competitive with the previous algorithms. Realistic experiments on four prevalent data sets (MNIST, Fashion-MNIST, CIFAR-10, and CelebA) with DCGANs show that our ACG method outperforms several baselines, which illustrates the superiority and efficacy of our method.


翻译:创世对抗网络的广泛应用得益于成功的培训方法,保证对象功能与当地小型算法相融合。然而,设计高效和竞争性培训方法仍是一项艰巨的任务,因为某些梯度基方法的周期性行为以及基于赫西安矩阵的这些方法的昂贵计算成本,因此,设计高效和竞争性培训方法仍是一项具有挑战性的任务。本文建议采用适应性综合梯度梯度方法,在适当环境下双线游戏中线性趋同。理论和玩具功能实验表明,我们的方法可以减轻周期性行为,并比最近提议的算法更快。重要的是,ACG方法不仅用于在双线游戏和普通游戏中找到稳定的固定点。ACG方法是一种全新的半梯度计算法,因为它不需要计算每一步的梯度,通过利用预测性信息减少梯度和赫西的计算成本。我们进行了两种高比实验,将ACG与现有算法结合到GANs的现有算法。重要的是,ACG方法不仅用于在双线游戏和普通游戏中找到稳定的固定点。ACAGA-CA,结果展示了我们以往的ARCA-C-SAM 的基底底基数据。

0
下载
关闭预览

相关内容

生成对抗网络 (Generative Adversarial Network, GAN) 是一类神经网络,通过轮流训练判别器 (Discriminator) 和生成器 (Generator),令其相互对抗,来从复杂概率分布中采样,例如生成图片、文字、语音等。GAN 最初由 Ian Goodfellow 提出,原论文见 Generative Adversarial Networks

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
专知会员服务
44+阅读 · 2020年10月31日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
69+阅读 · 2020年10月24日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Slimmable Generative Adversarial Networks
Arxiv
3+阅读 · 2020年12月10日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
8+阅读 · 2019年2月15日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
10+阅读 · 2018年3月23日
VIP会员
相关VIP内容
专知会员服务
44+阅读 · 2020年10月31日
最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
69+阅读 · 2020年10月24日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
48+阅读 · 2020年7月4日
相关资讯
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Slimmable Generative Adversarial Networks
Arxiv
3+阅读 · 2020年12月10日
Arxiv
12+阅读 · 2020年12月10日
Arxiv
8+阅读 · 2019年2月15日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
10+阅读 · 2018年3月23日
Top
微信扫码咨询专知VIP会员