单张图像就可以训练GAN!Adobe改良图像生成方法 | 已开源

2020 年 3 月 30 日 量子位
十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

数据集太小了,无法训练GAN?试试从单个图像入手吧。

去年谷歌就提出了SinGAN,是第一个拿GAN在单幅自然图像学习的非条件生成模型(ICCV 2019最佳论文)

而最近,来自Adobe和汉堡大学的研究人员,对这个方法做了改进,探讨了几种让GAN在单幅图像提高训练和生成能力的机制。

研究人员将改进的模型称作ConSinGAN

那么,先来看下ConSinGAN的效果吧。

上图左侧是用来训练的单个图像,右侧是利用ConSinGAN训练后生成的复杂全局结构。

可以看出效果还是比较逼真。

当然,ConSinGAN还可以用来处理许多其他任务,例如图像超分辨率( image super-resolution)、图像动画(image animation),以及图像去雾(image dehazing)

下面两张就是它在图像协调(image harmonization)和图像编辑(image editing)上的效果。

ConSinGAN是怎么做到的呢?

训练架构优化:并行的SinGAN

首先,我们先来看下SinGAN的训练过程。

SinGAN在图像中训练几个单独的生成网络,下图便是第一个生成器,也是唯一从随机噪声生成图像的无条件生成器。

在SinGAN中训练的第一个生成器

这里的判别器从来不将图像看做一个整体,通过这种方法,它就可以知道“真实的”图像补丁(patch)是什么样子。

这样,生成器就可以通过生成,在全局来看不同,但仅从补丁来看却相似的图像,来达到“欺诈”的目的。

在更高分辨率上工作的生成器,将前一个生成器生成的图像作为输入,在此基础上生成比当前还要高分辨率的图像。

所有的生成器都是单独训练的,这意味着在训练当前生成器时,所有以前的生成器的权重都保持不变。

这一过程如下图所示。

而在Adobe与汉堡大学的研究人员发现,在给定的时间内仅能训练一个生成器,并将图像(而不是特征图)从一个生成器传输到下一个生成器,这就限制了生成器之间的交互。

因此,他们对生成器进行了端到端的训练,也就是说,在给定时间内训练多个生成器,每个生成器将前一个生成器生成的特征(而不是图像)作为输入。

这也就是ConSinGAN名字的由来——并行的SinGAN,过程如下图所示。

然而,采取这样的措施又会面临一个问题,也就是过拟合。这意味着最终的模型不会生成任何“新”图像,而是只生成训练图像。

为了防止这种现象发生,研究人员采取了2个措施:

  • 在任意给定时间内,只训练一部分生成器;

  • 对不同的生成器采用不同的学习率(learning rate)。

下图就展示了使用这两种方法实现的模型。默认情况下,最多同时训练3个生成器,并对较低的生成器,分别将学习率调至1/10和1/100。

在这个过程中,有一个有趣的现象。

如果对较低的生成器采用较高的学习率,那么生成的图像质量会高些,但是差异性较弱。

相反,如果对较低的生成器采用较小的学习率,那么生成图像的差异性会丰富一些。如下图所示。

代码已开源

ConSinGAN的代码已经在GitHub上开源。

老规矩,先介绍一下运行所需要的环境:Python 3.5;Pytorch 1.1.0。

安装也非常简单:

pip install -r requirements.txt

若要使用论文中的默认参数训练模型:

python main_train.py --gpu 0 --train_mode generation --input_name Images/Generation/angkorwat.jpg

在英伟达GeForce GTX 1080Ti上训练一个模型大约需要20-25分钟。

不同的学习率和训练阶段数量,会影响实验的结果,研究人员推荐二者的默认值分别是0.1和6。

当然也可以修改学习率:

python main_train.py --gpu 0 --train_mode generation --input_name Images/Generation/colusseum.jpg --lr_scale 0.5

修改训练阶段的数量:

python main_train.py --gpu 0 --train_mode generation --input_name Images/Generation/colusseum.jpg --train_stages 7

当然,模型也可以用来处理“图像协调”和“图像编辑”等任务,详情可参阅GitHub。

传送门

论文地址:
https://arxiv.org/pdf/2003.11512.pdf

GitHub项目地址:
https://github.com/tohinz/ConSinGAN

作者系网易新闻·网易号“各有态度”签约作者


—  —

「地平线核心技术系列公开课」第二期开始报名。4月1日20:00,地平线天工开物AI开发平台产品经理陈本东,将在线介绍地平线天工开物AI平台如何赋能用户,并剖析其应用案例。

戳下图二维码,即可报名、加入交流群~

直播推荐 | 地平线核心技术解析系列课

学习计划 | 关注AI发展新动态


量子位 QbitAI · 头条号签约作者


վ'ᴗ' ի 追踪AI技术和产品新动态


喜欢就点「在看」吧 !



登录查看更多
1

相关内容

生成器是一次生成一个值的特殊类型函数。可以将其视为可恢复函数。调用该函数将返回一个可用于生成连续 x 值的生成【Generator】,简单的说就是在函数的执行过程中,yield语句会把你需要的值返回给调用生成器的地方,然后退出函数,下一次调用生成器函数的时候又从上次中断的地方开始执行,而生成器内的所有变量参数都会被保存下来供下一次使用。
【ICML2020】用于强化学习的对比无监督表示嵌入
专知会员服务
27+阅读 · 2020年7月6日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
28+阅读 · 2020年4月6日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
32+阅读 · 2020年1月10日
GAN用于无监督表征学习,效果依然惊人……
机器之心
12+阅读 · 2019年7月9日
低清视频也能快速转高清:超分辨率算法TecoGAN
机器之心
13+阅读 · 2019年4月16日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
GAN做图像翻译的一点总结
PaperWeekly
4+阅读 · 2017年12月26日
Revisiting CycleGAN for semi-supervised segmentation
Arxiv
3+阅读 · 2019年8月30日
Arxiv
12+阅读 · 2019年1月24日
Arxiv
4+阅读 · 2018年9月25日
Arxiv
8+阅读 · 2018年5月21日
Arxiv
11+阅读 · 2018年3月23日
Arxiv
5+阅读 · 2018年3月6日
VIP会员
相关VIP内容
【ICML2020】用于强化学习的对比无监督表示嵌入
专知会员服务
27+阅读 · 2020年7月6日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
28+阅读 · 2020年4月6日
必读的10篇 CVPR 2019【生成对抗网络】相关论文和代码
专知会员服务
32+阅读 · 2020年1月10日
相关资讯
GAN用于无监督表征学习,效果依然惊人……
机器之心
12+阅读 · 2019年7月9日
低清视频也能快速转高清:超分辨率算法TecoGAN
机器之心
13+阅读 · 2019年4月16日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
GAN做图像翻译的一点总结
PaperWeekly
4+阅读 · 2017年12月26日
相关论文
Top
微信扫码咨询专知VIP会员