【文章+代码】GAN不能生成什么？MIT&香港中文最新论文- 专知

【文章+代码】GAN不能生成什么？MIT&香港中文最新论文

【导读】生成对抗网络模型（GAN），是深度学习生成模型中，影响力非常大的模型了。无论是学术界还是工业界，GAN都在各种任务中大放异彩。但是，模式崩塌仍然是GAN训练过程中的一个严重问题。显然，GAN在训练过程中，是有选择的学习了某些模式，同时又放弃了某些模式的。但是到底GAN放弃了什么模式呢？GAN这个模型，不能生成哪些东西呢？来自MIT的David Bau等人，在ICCV 2019 上的文章《Seeing What a GAN Cannot Generate》，进行了一系列实验，尝试找到问题的答案。

文章地址：

https://www.zhuanzhi.ai/paper/1a6ada6940f38d05a5dcdea60e663ec5

文章主页：

http://ganseeing.csail.mit.edu/

文章代码地址：

https://github.com/davidbau/ganseeing

摘要：

尽管生成对抗网络(GANs)取得了成功，但模式崩溃仍然是GAN训练中的一个严重问题。到目前为止，很少有工作关注于理解和量化GANs模型放弃了哪些模式。在这项工作中，我们在分布层和实例层可视化模式崩溃。首先，我们部署了一个语义分割网络来比较分割后的目标在生成的图像中的分布和训练集中的目标分布。统计上的差异揭示了被GAN省略的对象类。其次，给出被识别的被省略的对象类，我们可以直接可视化被GAN省略的信息。特别地，我们比较了个别照片与GAN近似反演照片之间的具体差异。为此，我们放宽了反演问题，解决了反演GAN层而不是整个发生器的易处理问题。最后，我们使用这个框架来分析最近在多个数据集上训练的几个GANs，并识别它们的典型故障情况。

文章：