【Ian Goodfellow盛赞】一个GAN生成ImageNet全部1000类物体

2017 年 11 月 22 日 GAN生成式对抗网络

来源：OpenReview；Twitter

作者：费欣欣

【导读】Ian Goodfellow刚刚在Twitter盛赞一篇论文，担心仅仅浏览摘要无法充分体会其突破。这篇正在ICLR-18双盲审核中的论文，提出了一种叫做“谱归一化”的新的权重归一化方法，稳定对抗生成网络判别器的训练，而且所提出的GAN变体SN-GAN是第一个成功用于ImageNet全部1000个类别的GAN变体。

就在几小时前，生成对抗网络（GAN）的发明人Ian Goodfellow在Twitter上发文，激动地推荐了一篇论文：

Goodfellow表示，虽然GAN十分擅长于生成逼真的图像，但仅仅限于单一类型，比如一种专门生成人脸的GAN，或者一种专门生成建筑物的GAN，要用一个GAN生成ImageNet全部1000种类的图像是不可能的。但是，这篇ICLR论文做到了。

是什么论文这么厉害？

点开链接，可以看到Ian Goodfellow更加热情的赞美：

这是一篇很棒的论文！

这是一篇很棒的论文！我认为这篇论文没有充分说明它结论的重要性，我担心仅仅浏览摘要会让人错过这项突破。

“我们在CIFAR10，STL-10和ILSVRC2012数据集上测试了谱归一化的功效，通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN，谱归一化GAN（SN-GAN）能够生成质量相同乃至更好的图像。”这个描述太低调了，这篇论文展现了在ILSVRC2012数据集上的一个超大的飞跃。

在这篇论文之前，仅有一种GAN在ILSVR2012数据集上表现很好，那就是AC-GAN。但AC-GAN实际上有点作弊，因为它把ImageNet分成了100个更小的数据集，每个数据集仅含10个种类的数据。新的SN-GAN是第一个用一种GAN就覆盖ImageNet全部1000种类数据的GAN变体。

将GAN扩展到更大的种类上面去一直以来都没有得到很好解决，现在这篇论文为我们带来了10倍的飞跃。

生成对抗网络的谱归一化，稳定判别器训练

看上去真的很厉害的样子。虽然Goodfellow说仅仅浏览摘要无法充分体会这篇论文的好，但是我们还是从摘要开始看起：

题目：生成对抗网络的谱归一化

摘要：生成对抗网络的研究面临的挑战之一是其训练的不稳定性。在本文中，我们提出了一种叫做“谱归一化”（spectral normalization）的新的权重归一化（weight normalization）技术，来稳定判别器的训练。这种新归一化技术计算轻巧，易于并入现有的部署当中。我们在CIFAR10，STL-10和ILSVRC2012数据集上测试了谱归一化的功效，通过实验证实了相对于那些使用此前提出的训练稳定技术训练的GAN，谱归一化GAN（SN-GAN）能够生成质量相同乃至更好的图像。

简单说，论文提出了一种新的权重归一化方法，用于稳定判别器的训练。作者在论文中写道，他们的归一化方法需要调整的超参数只要一个，就是Lipschitz常数，而且即使不调整这个超参数，也能获得满意的性能。此外，算法实现简单，额外的计算成本很小。

作者在论文中将这种新的“谱归一化”方法与其他归一化技术，比如权重归一化（Salimans＆Kingma，2016）、权重削减clipping（Arjovsky等，2017）和梯度惩罚gradient penalty（Gulrajani等，2017）做了比较，并通过实验表明，在没有批量归一化、权重衰减和判别器特征匹配的情况下，谱归一化改善生成的图像质量，效果比权重归一化和梯度惩罚更好。

第一个成功应用于ImageNet全部1000个类别的GAN变体

最后，来看让Ian Goodfellow觉得没有充分强调的部分。

在论文的4.2这节，作者简单描述了他们的方法在ImageNet训练的情况，如作者所写，“我们将我们的方法应用于ILRSVRC2012数据集，训练类别conditional GANs……我们的SN-GAN是所有方法中唯一训练成功了的，据我们所知，这也是首次用单对判别器和生成器从ImageNet数据集生成不错图像的尝试”。