【GAN这4.5年】IanGoodfellow谈论生成对抗网络在人脸生成进展,5篇经典论文,从黑白模糊到惟妙惟肖

2019 年 1 月 17 日 GAN生成式对抗网络

来源:专知


【导读】生成式对抗网络(Generative Adversarial Networks, GAN)自在2014年被Ian Goodfellow提出后,取得巨大的进展,在理论算法和应用方面有着丰富成果。近日,GAN之父Ian Goodfellow在twitter谈论了关于GAN在人脸生成的4年半进展,包含5篇代表性文章,值得关注,人脸生成从早起的模糊阶段进化到现在逼真的程度。


GAN在人脸生成这4.5年进展



GAN在人脸生成的进展代表性论文包括5篇,分别是:

1. Generative Adversarial Networks

https://papers.nips.cc/paper/5423-generative-adversarial-nets,谷歌学术引用数高达6800+

这篇论文是最早提出 GAN 的文章,作者 Ian J. Goodfellow 提出了一种新的对抗过程来评价生成模型的效果。GAN 主要分为两部分:生成模型和判别模型。生成模型的作用是模拟真实数据的分布,判别模型的作用是判断一个样本是真实的样本还是生成的样本,GAN 的目标是训练一个生成模型完美的拟合真实数据分布使得判别模型无法区分。

生成模型和判别模型之间的交互可以类比为这样一个场景:生成模型是一个生产假币的伪造者,他的任务就是要生成假币然后使用假币而不被发现,判别模型则是一个警察,他的任务则是识别出那些假币,两者之间的较量使得伪造者不断提升制造假币的能力,警察不断提升识别假币的能力,最终警察无法区分伪造者生产的假币和真实的货币。

2.  Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks


https://arxiv.org/pdf/1511.06434.pdf

近年来,使用卷积神经网络的监督学习被大量应用于计算机视觉应用中。相对地,使用卷积神经网络的非监督学习则被较少的关注。在这项工作中,我们希望可以帮助缩小监督学习和非监督学习在CNN的成功上差距。我们介绍了CNN的一个类,称为深度卷积生成对抗网络(DCGANs),这个网络有着明确的结构约束,并且表明他们对非监督学习有着强烈的可信度。在不同的图像数据集上训练,我们展示出了令人信服的证据,我们的深度卷积对抗对,从对象部分到场景,在生产器和判别器上都能学到层级的表示。此外,我们在一些新的任务上使用学习到的特征,表明了它们在一般化图像的表示上具有通用性。


3.  Coupled Generative Adversarial Networks


https://arxiv.org/pdf/1606.07536.pdf

作者提出了一个coupled generative adversarial network (CoGAN) 来学习关于multi-domain images的联合分布出来。本质上GAN是学习一个图像分布p(x’)出来,这个分布要足够逼近训练样本的分布p(x)。这样的结果就是能够使我们任意输入噪声到训练好的generator中去,都能够产生一个足够像训练样本的图片出来。而这里作者将单个分布p(x)拓展到联合分布p(x,y)分布上来了。这样做的目的很深刻,因为涉及到domain adaption 问题。也就是说,在传统的domain adaption中,我们需要学习或者训练一个domain adaptor出来,而这个domain adaptor需要 用source domain和对应的target domain的训练图片来训练。而本文中的CoGAN可以无监督的学习一个联合分布。方法就是对网络加上权值共享约束,同时求解一个体育编辑分布的内积的分布解(不是很懂)。 作者测试这个CoGAN做联合分布学习的任务,包括学习图片的颜色和深度两个的联合分布,学习一个带有不同属性的联合分布出来。作者将其拓展到了domain adaption和image transformation task。


4.  Progressive Growing of GANs for Improved Quality, Stability, and Variation

论文地址:

http://research.nvidia.com/sites/default/files/publications/karras2017gan-paper-v2.pdf

实现地址:

https://github.com/tkarras/progressive_growing_of_gans

英伟达在本文中描述了一种新的 GAN 训练方法,其核心思想是同时逐渐地增加生成器与鉴别器的能力:从低分辨率开始,添加持续建模精细细节的新层作为训练过程。这不仅加速了训练,而且更加稳定,获得质量超出预想的图像。本文同时提出了一种增加生成图像变体的简便方法,并在 CIFAR10 上取得了 8.80 的得分。另外的一个额外贡献是创建 CELEBA 数据集的更高质量版本。

项目地址:

https://github.com//RedditSota/state-of-the-art-result-for-machine-learning-problems


5.  A Style-Based Generator Architecture for Generative Adversarial Networks



https://arxiv.org/abs/1812.04948


这篇论文于 2018 年 12 月 12 日被收录。作者们确认论文中所提出的方法的代码,不久后就会对外发布。此外,对于想要了解更多关于这一方法的信息但不想阅读全篇论文的读者,前两天发布的一篇博文对这篇论文进行了概述,大家可前往如下地址查看:


这篇论文针对 GAN 框架提出了另一种观点。更特别地,它从样式—迁移设计中汲取灵感,创建了一个生成器架构,它能学习生成图像中的高级属性(例如在人脸或者背景上训练时的年龄、身份,质量差的图像的拍摄视角、样式)以及随机变量(人脸的雀斑、头发细节或者在质量差的图像上训练时的发色、皮肤纹理)。该生成器不仅能学习自动分离这些属性,还能让研究者用非常直观的方式控制合成。



GAN最新综述论文

来自郑州大学等学者最新发表一篇综述论文,详述GAN在计算机视觉方面的进展欢迎查看!

摘要

生成对抗网络的出现为计算机视觉提供了一种新的方法和框架。与传统的机器学习算法相比,GAN采用的是对抗性训练的思想,在特征学习和表示方面都更加强大。GAN还存在一些问题,如不收敛、模型崩溃和高自由度的不可控性。如何将GAN理论进行改进,并将其应用于计算机视觉相关任务中,已经引起了广泛的研究。本文系统地综述了近年来提出的GAN模型及其在计算机视觉中的应用。特别地,我们首先回顾了生成算法的历史和发展,GAN的机理,它的基本网络结构和原始GAN的理论分析。然后从机理、生成样本的视觉结果、Frechet初始距离等方面对经典的GAN算法进行了综合比较。通过在公共数据集上进行的大量实验,从网络结构、性能和适用性方面对这些网络进行了进一步的评估。在此基础上,研究了GAN在计算机视觉中的几个典型应用,包括高质量的样本生成、风格转换和图像转换。最后,总结和讨论了氮化镓存在的一些问题,并对未来可能的研究课题进行了展望。



高质量延伸阅读

☞ OpenPV平台发布在线的ParallelEye视觉任务挑战赛

【学界】第1届“智能车辆中的平行视觉”研讨会成功举行

【学界】生成式对抗网络:从生成数据到创造智能

【学界】OpenPV:中科院研究人员建立开源的平行视觉研究平台

【学界】基于平行视觉的特定场景下行人检测

【学界】ParallelEye:面向交通视觉研究构建的大规模虚拟图像集

【CFP】Virtual Images for Visual Artificial Intelligence

【最详尽的GAN介绍】王飞跃等:生成式对抗网络 GAN 的研究进展与展望

【智能自动化学科前沿讲习班第1期】王飞跃教授:生成式对抗网络GAN的研究进展与展望

【智能自动化学科前沿讲习班第1期】王坤峰副研究员:GAN与平行视觉

【重磅】平行将成为一种常态:从SimGAN获得CVPR 2017最佳论文奖说起

【平行讲坛】平行图像:图像生成的一个新型理论框架

【学界】基于生成对抗网络的低秩图像生成方法

【学界】Ian Goodfellow等人提出对抗重编程,让神经网络执行其他任务

【学界】六种GAN评估指标的综合评估实验,迈向定量评估GAN的重要一步

【资源】T2T:利用StackGAN和ProGAN从文本生成人脸

【学界】 CVPR 2018最佳论文作者亲笔解读:研究视觉任务关联性的Taskonomy

【业界】英特尔OpenVINO™工具包为创新智能视觉提供更多可能

【学界】ECCV 2018: 对抗深度学习: 鱼 (模型准确性) 与熊掌 (模型鲁棒性) 能否兼得 

【学界】何恺明组又出神作!最新论文提出全景分割新方法


登录查看更多
8

相关内容

最新《生成式对抗网络》简介,25页ppt
专知会员服务
168+阅读 · 2020年6月28日
专知会员服务
107+阅读 · 2020年5月21日
【论文】结构GANs,Structured GANs,
专知会员服务
14+阅读 · 2020年1月16日
八篇 ICCV 2019 【图神经网络(GNN)+CV】相关论文
专知会员服务
29+阅读 · 2020年1月10日
BERT进展2019四篇必读论文
专知会员服务
65+阅读 · 2020年1月2日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
70+阅读 · 2019年10月19日
从DCGAN到SELF-MOD:GAN的模型架构发展一览
PaperWeekly
4+阅读 · 2019年4月22日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
GAN之父5篇文章细数GAN在人脸生成方向4年多进展
THU数据派
8+阅读 · 2019年1月22日
GAN 生成对抗网络论文阅读路线图
专知
6+阅读 · 2018年10月30日
997篇-历史最全生成对抗网络(GAN)论文串烧
深度学习与NLP
16+阅读 · 2018年6月26日
[论文笔记] GAN开山之作及最新综述
专知
12+阅读 · 2017年12月19日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
【原理】十个生成模型(GANs)的最佳案例和原理 | 代码+论文
GAN生成式对抗网络
8+阅读 · 2017年8月14日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
9+阅读 · 2018年1月4日
VIP会员
相关资讯
从DCGAN到SELF-MOD:GAN的模型架构发展一览
PaperWeekly
4+阅读 · 2019年4月22日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
GAN之父5篇文章细数GAN在人脸生成方向4年多进展
THU数据派
8+阅读 · 2019年1月22日
GAN 生成对抗网络论文阅读路线图
专知
6+阅读 · 2018年10月30日
997篇-历史最全生成对抗网络(GAN)论文串烧
深度学习与NLP
16+阅读 · 2018年6月26日
[论文笔记] GAN开山之作及最新综述
专知
12+阅读 · 2017年12月19日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
【原理】十个生成模型(GANs)的最佳案例和原理 | 代码+论文
GAN生成式对抗网络
8+阅读 · 2017年8月14日
相关论文
Arxiv
8+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年5月21日
Arxiv
10+阅读 · 2018年3月23日
Arxiv
6+阅读 · 2018年3月12日
Arxiv
9+阅读 · 2018年1月4日
Top
微信扫码咨询专知VIP会员