【GAN这4.5年】IanGoodfellow谈论生成对抗网络在人脸生成进展，5篇经典论文，从黑白模糊到惟妙惟肖

2019 年 1 月 17 日 GAN生成式对抗网络

来源：专知

【导读】生成式对抗网络(Generative Adversarial Networks， GAN）自在2014年被Ian Goodfellow提出后，取得巨大的进展，在理论算法和应用方面有着丰富成果。近日，GAN之父Ian Goodfellow在twitter谈论了关于GAN在人脸生成的4年半进展，包含5篇代表性文章，值得关注，人脸生成从早起的模糊阶段进化到现在逼真的程度。

GAN在人脸生成这4.5年进展

GAN在人脸生成的进展代表性论文包括5篇，分别是：

1. Generative Adversarial Networks

https://papers.nips.cc/paper/5423-generative-adversarial-nets，谷歌学术引用数高达6800+

这篇论文是最早提出 GAN 的文章，作者 Ian J. Goodfellow 提出了一种新的对抗过程来评价生成模型的效果。GAN 主要分为两部分：生成模型和判别模型。生成模型的作用是模拟真实数据的分布，判别模型的作用是判断一个样本是真实的样本还是生成的样本，GAN 的目标是训练一个生成模型完美的拟合真实数据分布使得判别模型无法区分。

生成模型和判别模型之间的交互可以类比为这样一个场景：生成模型是一个生产假币的伪造者，他的任务就是要生成假币然后使用假币而不被发现，判别模型则是一个警察，他的任务则是识别出那些假币，两者之间的较量使得伪造者不断提升制造假币的能力，警察不断提升识别假币的能力，最终警察无法区分伪造者生产的假币和真实的货币。

2. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

https://arxiv.org/pdf/1511.06434.pdf

近年来，使用卷积神经网络的监督学习被大量应用于计算机视觉应用中。相对地，使用卷积神经网络的非监督学习则被较少的关注。在这项工作中，我们希望可以帮助缩小监督学习和非监督学习在CNN的成功上差距。我们介绍了CNN的一个类，称为深度卷积生成对抗网络（DCGANs），这个网络有着明确的结构约束，并且表明他们对非监督学习有着强烈的可信度。在不同的图像数据集上训练，我们展示出了令人信服的证据，我们的深度卷积对抗对，从对象部分到场景，在生产器和判别器上都能学到层级的表示。此外，我们在一些新的任务上使用学习到的特征，表明了它们在一般化图像的表示上具有通用性。

3. Coupled Generative Adversarial Networks

https://arxiv.org/pdf/1606.07536.pdf

作者提出了一个coupled generative adversarial network (CoGAN) 来学习关于multi-domain images的联合分布出来。本质上GAN是学习一个图像分布p(x’)出来，这个分布要足够逼近训练样本的分布p(x)。这样的结果就是能够使我们任意输入噪声到训练好的generator中去，都能够产生一个足够像训练样本的图片出来。而这里作者将单个分布p(x)拓展到联合分布p(x,y)分布上来了。这样做的目的很深刻，因为涉及到domain adaption 问题。也就是说，在传统的domain adaption中，我们需要学习或者训练一个domain adaptor出来，而这个domain adaptor需要用source domain和对应的target domain的训练图片来训练。而本文中的CoGAN可以无监督的学习一个联合分布。方法就是对网络加上权值共享约束，同时求解一个体育编辑分布的内积的分布解(不是很懂)。作者测试这个CoGAN做联合分布学习的任务，包括学习图片的颜色和深度两个的联合分布，学习一个带有不同属性的联合分布出来。作者将其拓展到了domain adaption和image transformation task。

4. Progressive Growing of GANs for Improved Quality, Stability, and Variation

论文地址：

http://research.nvidia.com/sites/default/files/publications/karras2017gan-paper-v2.pdf

实现地址：

https://github.com/tkarras/progressive_growing_of_gans

英伟达在本文中描述了一种新的 GAN 训练方法，其核心思想是同时逐渐地增加生成器与鉴别器的能力：从低分辨率开始，添加持续建模精细细节的新层作为训练过程。这不仅加速了训练，而且更加稳定，获得质量超出预想的图像。本文同时提出了一种增加生成图像变体的简便方法，并在 CIFAR10 上取得了 8.80 的得分。另外的一个额外贡献是创建 CELEBA 数据集的更高质量版本。

项目地址：

https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems

5. A Style-Based Generator Architecture for Generative Adversarial Networks

https://arxiv.org/abs/1812.04948

这篇论文于 2018 年 12 月 12 日被收录。作者们确认论文中所提出的方法的代码，不久后就会对外发布。此外，对于想要了解更多关于这一方法的信息但不想阅读全篇论文的读者，前两天发布的一篇博文对这篇论文进行了概述，大家可前往如下地址查看：

这篇论文针对 GAN 框架提出了另一种观点。更特别地，它从样式—迁移设计中汲取灵感，创建了一个生成器架构，它能学习生成图像中的高级属性（例如在人脸或者背景上训练时的年龄、身份，质量差的图像的拍摄视角、样式）以及随机变量（人脸的雀斑、头发细节或者在质量差的图像上训练时的发色、皮肤纹理）。该生成器不仅能学习自动分离这些属性，还能让研究者用非常直观的方式控制合成。

GAN最新综述论文

来自郑州大学等学者最新发表一篇综述论文，详述GAN在计算机视觉方面的进展欢迎查看！

摘要

生成对抗网络的出现为计算机视觉提供了一种新的方法和框架。与传统的机器学习算法相比，GAN采用的是对抗性训练的思想，在特征学习和表示方面都更加强大。GAN还存在一些问题，如不收敛、模型崩溃和高自由度的不可控性。如何将GAN理论进行改进，并将其应用于计算机视觉相关任务中，已经引起了广泛的研究。本文系统地综述了近年来提出的GAN模型及其在计算机视觉中的应用。特别地，我们首先回顾了生成算法的历史和发展，GAN的机理，它的基本网络结构和原始GAN的理论分析。然后从机理、生成样本的视觉结果、Frechet初始距离等方面对经典的GAN算法进行了综合比较。通过在公共数据集上进行的大量实验，从网络结构、性能和适用性方面对这些网络进行了进一步的评估。在此基础上，研究了GAN在计算机视觉中的几个典型应用，包括高质量的样本生成、风格转换和图像转换。最后，总结和讨论了氮化镓存在的一些问题，并对未来可能的研究课题进行了展望。