生成式对抗网络(GANs)最新2020综述，41页pdf阐述GAN训练、挑战、解决方案和未来方向

生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而，在GANs的训练中存在着主要的挑战。由于网络结构设计不当，使用目标函数和选择优化算法，导致模式崩溃，不收敛和不稳定。最近，为了解决这些挑战，一些更好地设计和优化GANs的解决方案已经被研究，基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知，目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中，我们进行了一个全面的综述，在GANs的设计和优化解决方案提出，以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题，然后根据关键研究问题提出新的分类结构解决方案。根据分类，我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后，在已有研究成果的基础上，提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs)，如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN)，最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因，因为它不能足够快地在模式间混合。另一个生成模型，变分自动编码器(VAE)，使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点，并在难以处理的概率计算的近似过程中体验复杂性。此外，这些生成模型是通过最大化训练数据可能性来训练的，其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外，在高维空间中，从马尔可夫链进行的采样是模糊的，计算速度慢且不准确。

为了解决上述问题，Goodfellow等人提出了生成对抗网(GANs)，这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型，它利用反向传播来进行训练，以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注，因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型，它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率，以确定生成的数据是来自真实的数据分布，还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策，直到纳什均衡。G可以从真实分布中生成采样后的图像，而D无法区分这两组图像。为了更新G和D，由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说，GANs设计和优化的三个主要组成部分如下:(i) 网络结构，(ii) 目标(损失)函数，(iii)优化算法。

对多模态数据建模的任务，一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图，结果由使用均方误差(MSE)的基本机器学习模型实现，该模型在像素空间(即，导致图像模糊)和GANs所获得的结果，从而驱动重构向自然图像流形方向发展。由于GANs的这一优势，它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好，例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功，但是由于D和G训练的不平衡，使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外，如果D可以很容易的区分出真假图像，那么D的梯度就会消失，当D不能提供梯度时，G就会停止更新。近年来，对于模式崩溃问题的处理有了许多改进，因为G产生的样本基于少数模式，而不是整个数据空间。另一方面，引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后，提出了几种稳定训练的方法。

近年来，GANs在自然图像的制作方面取得了突出的成绩。然而，在GANs的训练中存在着主要的挑战。由于网络结构设计不当，使用目标函数和选择优化算法，导致模式崩溃，不收敛和不稳定。最近，为了解决这些挑战，一些更好地设计和优化GANs的解决方案已经被研究，基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案，本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类，我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献：

GAN新分类法。在本研究中，我们确定了每个设计和优化技术中的关键研究问题，并提出了一种新的分类法，根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。
GAN全面的调研。根据分类法，我们提供了对各种解决方案的全面审查，以解决GANs面临的主要挑战。对于每一种类型的解决方案，我们都提供了GANs变体及其关系的详细描述和系统分析。但是，由于广泛的GANs应用，不同的GANs变体以不同的方式被制定、训练和评估，并且这些GANs之间的直接比较是复杂的。为此，我们进行了必要的比较，总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。