王飞跃：生成式对抗网络GAN的研究进展与展望

作者：中科院自动化所复杂系统管理与控制国家重点实验室主任王飞跃

来源：科学网

概要：本次汇报的主要内容包括GAN的提出背景、GAN的理论与实现模型、发展以及我们所做的工作，即GAN与平行智能。

小记：2017年7月17-18日，由中国自动化学会主办的智能自动化学科前沿讲习班第1期在京举行。为了促进生成式对抗网络GAN相关理论、方法、技术与应用研究的深入开展，第1期智能自动化学科前沿讲习班邀请了王飞跃教授等多位学术界和工业界的知名学者，全面介绍了GAN技术与应用的研究进展，探讨相关技术的发展趋势。本文在前沿讲习班录音的基础上，由复杂系统管理与控制国家重点实验室博士生白天翔整理而成。

本次汇报的主要内容包括GAN的提出背景、GAN的理论与实现模型、发展以及我们所做的工作，即GAN与平行智能。

GAN是Goodfellow在2014年提出来的一种思想，是一种比较直接的思路。例如，想象我们有两张图片，一张是真的，一张是假的。那么对人类而言，如何去判断这幅画究竟是伪造的还是真的？我们又为什么可以这样认为呢？比如图1中，这个伪造图的问题在于“画中人”画的不对，不是人，而是一只兔子，所以可以认为它是假的。而对于伪造者，他会去想：这里是该画人的地方画的不对，以后在这个地方改进一点，就可以画出更真实的画。第二次，等他画出之后，大家可能又会发现这里那里又有另外一个问题。这样循环迭代，不断去改进，我们就可以提升我们的生成器，也就是这个故事中制造伪画的这个人的水平。这同时我们也提高了侦探的水平。

图1

事实上，GAN提出后很长一段时间，并没有得到很好的发展。图中是在Arxiv上搜索GAN关键词得到的发表结果，可以看到，2016年NIPS会议之前，GAN的文章发表并不是很多，但是16年之后就发展了很多，目前呈一个指数增长的趋势。

发表GAN文章的作者中，排在第一位的是Bengio，然后有Goodfellow以及国内的余勇教授。他们所研究的主要内容还是计算机视觉，也可以说这两年的研究热点主要还是集中在图像生成这些方面。除此之外，我们可以看到，GAN还涉及许多其他内容，例如关于加密与安全、机器人、甚至包括天体物理的。由此可知，GAN的发展方向正在不断扩大，从传统的计算机视觉向其他方向扩展出去。

LeCun的访谈中提到对于深度学习，10年内最值得关注的一个idea就是GAN，后面我们会讲到这是为什么。首先我们先来看一下已经有的、大家比较熟知的关于GAN的应用。图2中，是使用GAN生成视频中下一帧，相比于MSE方法可能造成下一帧人像没有耳朵，但是使用GAN方法我们可以清晰看到人像是有耳朵的。

图2

图3

图3中是使用GAN生成自动驾驶的图像，即使用GAN生成图像，再利用图像去做自动驾驶的训练。此外，在以下组图中，可以看到使用GAN生成超分辨图像，也是计算机视觉领域常用的一种工作。而Adobe的这个工作超出了传统的GAN所进行的工作，即通过人手绘制的线条，自动生成山、草地这类的场景。也有研究做了类似的工作，为了给人添加头发，只需进行简单的涂鸦，就能靠GAN自动生成。如图，是一个3D模型的生成，跟以往相比这是一个比较少见的工作，通过一副图片，或者通过噪音，或添加一些隐藏变量，就可以生成新的3D模型。而图中这个工作是图像变换，即输入一个图像，我们得到一个抽象的图像、或是素描、照片，这样的一个工作也是以往的GAN所没有涉及到的。

转自：人工智能学家