GANs之父Ian Goodfellow力荐：GANs的谱归一化

2017 年 11 月 25 日 论智 Bot

论智

编译 | Bot

来源 | openreview

编者按：本周二，有着“GANs之父”美誉的人工智能顶级专家Ian Goodfellow在twitter上盛赞论文Special Normalization for Generative Adversarial Networks，称其是一篇伟大的论文，它的发现或将使当前的GANs研究实现10倍飞跃。在文中，作者提出了一种新方法：SN-GANs，能生成ImageNet上的1000类图像。目前，这篇论文已通过ICLR 2018筛选，尚处于盲审阶段，虽然openreview上没有公开作者信息，但据论智了解，该论文曾出现在2017年“ICML内隐模型研讨会”上，部分作者来自日本京都大学和NICT。

以下是论智对论文部分内容的翻译。

摘要

训练不稳定至今仍是GANs的一个重大挑战。本文提出了一种新型权值归一化（weight normalization）技术——谱归一化（spectral normalization），能让判定器训练更加稳定。这是一种轻量化、易实现的方法，团队用CIFAR10、STL-10以及ILSVRC2012的数据集对它进行了测试，实验证明，谱归一化生成对抗网络（SN-GANs）能比以往提出的稳定方法生成质量更高，或者至少是质量相当的图像。

介绍

作为生成模式的一个成功框架，近年来GANs已被应用到诸多领域，用于处理多类型任务和数据集。简要来说，GANs就是一个模拟给定模型分布并生成模型的框架，由产生模型的生成器和鉴别模型的判定器组成。它的思路是对生成模型和判定模型进行连续训练，力争每一步都能减少两者之间的差距并尽可能符合判定模型的分布。自提出后，GANs在机器学习领域一直备受瞩目，这不仅是因为它能学习高度结构化的概率分布，它提出的有趣理念也是吸引众多学者的理由之一。

判定器的性能控制是GANs训练模型时颇具挑战的一个关键点，在高维空间中，判定器的密度通常是不准确的，加上训练不稳定，生成器往往难以学到目标模型的分布。更糟糕的是，如果生成器和判定器产生的模型在分布上不相交，GANs会认为它们不是同一个目标。而这导致的结果就是生成器训练中止，因为判定器导出的微分结果是0。

因此，本文提出一种名为SN-GANs的新方法，它的主要特点如下：

Lipschitz常数是唯一需要调整的超参数，算法无需为获得满意的性能对它进行深入调整；
实现方式简单，较小的额外计算成本。

事实上，即便不调整Lipschitz常数，这种归一化的方法依然效果显著。

工具及归一化

本节节选的是SN-GANs的一些设计理论及实现方法，欢迎私信论智君获取原文。

工具

团队用一个简单判定器做了示例，它的神经网络构成如下：

其中，θ：= {W1, ……WL, WL+1}是学习参数集，al是非线性激活函数。这之后，判定器的最终输出将是这样的：

A是一个激活函数，表示模型距离选择样本的分布距离。

鉴于判定器的功能空间选择对GAN的性能至关重要，团队学习并借鉴了前人的计算方法：

及它的衍生：

关于f(x)的导数，业内也已经有了一个成功的解决方案，即把输入样本x的正则表达加入判别器的Lipschitz常数中：

谱归一化

谱归一化通过每一层（g）上的谱归一化来控制判别器的Lipschitz常数：hin → hout。经定义，Lipschitz常数||g||Lip等于suph σ(∇g(h))，其中σ(A)即谱归一化：

若||al||Lip的Lipschitz常数等于1，则进行如下计算：

由于SN-GANs本质是一种权值归一化，为了使σ(W)=1，因此还需对矩阵W做归一化处理：

测试实验

在CIFAR-10、STL-10使用不同的GANs的得分情况

在CIFAR-10、STL-10使用不同的GANs的FIDs情况（越低越好）

测试情况汇总

CIFAR-10数据集及不同方法生成的图片

STL-10数据集及不同方法生成的图片

图片生成：1000类

为了表明SN-GANs在高维空间数据集上依然保持良好性能，团队将其用于ILRSVRC2012数据集训练，其中涉及1000类图像，每类包含约1300张像素为128×128的图片。和测试实验相同，本轮生成实验也设置了对照组，但最后的结果证明，SN-GANs是唯一成功的方法。这也意味着它是世界上第一种可以用一个生成对抗网络，即一个生成器和一个判定器生成1000类优质图像的方法。

图片生成实验中不同方法的学习曲线

SN-GANs生成的图片：雏菊

SN-GANs生成的图片：披萨

SN-GANs生成的图片：老虎

SN-GANs生成的图片：建筑

以上是SN-GANs生成的部分图像，它的初始得分为21.9。

结语

本文提出将谱归一化作为帮助GANs稳定训练的方法，比起传统的权值归一化，它生成的图像更多样化，得到的初始得分也更高。

Ian Goodfellow评语

自11月20日首次阅读这篇论文后，Ian Goodfellow花了至少3天时间试验文中提出的方法，并和作者进行了大量探讨，以下是他发表的首条评论：

这真是一篇伟大的论文！但我担心这篇论文不足以展示结果的重要性，正如作者在摘要中写的“谱归一化生成对抗网络（SN-GANs）能比以往提出的稳定方法生成质量更高，或者至少是质量相当的图像”，这太轻描淡写了。事实上，这是基于ILSVRC2012数据集的一个非凡进展。在这之前，只有AC-GAN在数据集上表现良好，而它是一种“讨巧”的方法——把ImageNet分成100个较小的数据集，每个数据集只包含10个类。SN-GANs是有史以来第一个只用一个GANs就能在ImageNet上生成1000类图像的方法。这意味着GANs应用空间的膨胀，这个结果实现了惊人的10倍飞跃！

论文地址：https://openreview.net/pdf?id=B1QRgziT-

评论地址：https://openreview.net/forum?id=B1QRgziT-