MIT、港中文团队暴力解剖GAN，一笔成画不是梦

图片来源：视觉中国

---

  新智元报道  

来源：arXiv、Twitter

编辑：三石、肖琴

【新智元导读】GAN的神奇能力有目共睹。最近，朱俊彦等人在论文中提出了一款神器——GANpaint，竟然简单几笔就能成画。这个神来之“工具”的惊艳效果，引来不少人的惊叹。

有了这款神器，画画不能再简单了！

自从GAN诞生以来，一次一次创造着奇迹：填充纹理、变脸易容。但这一次，这款名叫GANpaint的神器，简单几笔就能成画。

话不多说，上结果：

也难怪网友惊呼：“以后拆楼都不用费劲了！”

那么这款神器如何操作呢？先奉上传送门：

http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4

GANpaint的界面也是十分的简洁。

首先，在界面下方选择底图；其次，在左侧选择一个对象，如“草”、“门”、“天空”等等；然后选择要进行的操作，例如“绘画”、“删除”等；最后，只需要在图片中想要更改的区域涂抹几笔即可。

GANpaint凭什么如此神奇？

生成对抗网络(GANs)最近在许多实际应用中取得了令人印象深刻的结果，并且随着样本质量和训练稳定性的提高，出现了许多GAN的变体。然而，对GAN的可视化和理解在很大程度上是缺失的。

因此，来自MIT、香港中文大学、IBM等学校/机构的David Bau、朱俊彦、Joshua B.Tenenbaum、周博磊等人发表论文，并在文中提出了GANpaint这款工具。

在这项工作中，研究人员提出了一个分析框架来在单元、对象和场景级别可视化和理解GAN：

• 首先，用基于分段的网络剖分方法识别一组与对象概念密切相关的可解释单元；

• 然后，通过测量“干预”的能力来量化可解释单位的因果效应；

• 最后，通过将发现的对象概念插入到新图像中，以此来检查这些单元与其周围环境之间的关系。

研究人员的主要目标是分析如何通过GAN生成器的内部表征，来对“树”等对象进行编码：

通过剖析（dissection）来表征单元

使用干预（intervention）测量因果关系

实验结果

工作人员研究了在LSUN场景数据集上训练的三种Progressive GAN的变体。为了对生成的图像进行分割，我们使用一个最近的模型 (Xiao et al., 2018) 在ADE20K场景数据集上训练。

该模型可以将输入图像分割为336个物体类，29个大物体和25个材质类。为了进一步识别专门用于对象部件的单元，我们将每个对象类c扩展为另外的对象部件类ct，cb，cl和cr，分别表示连接组件的边界框的顶部，底部，左半部分或右半部分。。

诊断和改进GANS

框架不仅可以揭示GAN是如何成功地生成真实图像的，也可以分析结果失败的原因。

如图8所示，图8a显示了几个注释单元，负责GAN结果中的visual artifacts；图8b显示了artifacts被成功移除，并且自由像素保持不变的改进的生成结果。

图8: (a)两个负责GAN结果中 visual artifacts的示例单元。总共有20个单元。通过消融这些单元，我们可以修复(b)中的artifacts，并显著提高(c)中的视觉质量。

通过消融定位因果单元

图9：测量在会议室图像训练的GAN中消融单元的效果

如图10所示，虽然可以在会议室图像中很好地移除窗户，但是在其他场景中删除窗户则比较困难。

图10：比较在五个场景类别训练的GAN中消融20个窗户单位的效果。 

通过插入表征上下文关系

也可以通过强制单元和插入这些功能到场景中的特定位置来学习GAN的操作。图11显示了在教堂场景中插入20层门单元的效果。

图11：通过在表示中的一个像素处将20个causal units设置为固定的高值来插入 door units。

参考链接：

http://gandissect.res.ibm.com/ganpaint.html?project=churchoutdoor&layer=layer4

https://arxiv.org/pdf/1811.10597v1.pdf

---

【加入社群】

新智元 AI 技术 + 产业社群招募中，欢迎对 AI 技术 + 产业落地感兴趣的同学，加小助手微信号：aiera2015_2  入群；通过审核后我们将邀请进群，加入社群后务必修改群备注（姓名 - 公司 - 职位；专业群审核较严，敬请谅解）。