论文Express | 谷歌DeepMind最新动作：使用强化对抗学习，理解绘画笔触

大数据文摘作品

作者：龙牧雪

深度学习合成图像并不是什么新鲜事。谷歌自己就做过SketchRNN，能识别8条腿的猪有异常，输出4条腿的猪（戳这里看）。

不过这些都依赖于人类输入数据的指导。人类需要告诉模型，哪些输入图片是猪，模型才能从中总结规律。

昨天，谷歌DeepMind发出了一篇博文，介绍了其最新论文Synthesizing Programs for Images using Reinforced Adversarial Learning（大数据文摘公众号后台回复“图像”即可下载）。

谷歌使用一种名叫SPIRAL的对抗性学习方法，先用一个强化学习代理（Agent）随机画画，再将成果输入另一个神经网络鉴别器（Discriminator）。鉴别器能判断某图形是由Agent生成的，还是从真实照片的数据集中采样而来。

如果代理生成的图像成功地骗过了鉴别器，就会获得奖励。也就是说，奖励函数本身也是由代理学习得来，人类并没有设置奖励函数。这样经过持续训练，强化学习得到的图像就会越来越接近真实照片。

该方法与生成对抗网络（GANs）的区别是，GANs中的生成器通常是直接输出像素值的神经网络。但是强化学习代理通过编写图形程序与绘图环境交互来生成图像，也就是说，可以将生成的图像中绘画的笔触通过一个机械臂画笔实现出来。

根据谷歌放出的一个绘画视频，该方法在数字、人物肖像的生成上，均取得了不错的效果。

谷歌绘画的视频

▼

在MNIST手写数字图像生成的实验中，输入数据包括手写数字的图像，但没有明确指出它们是如何绘制的。强化学习代理需要通过自学数字书写的笔画（图案、笔触强弱、笔顺），控制画笔，重现特定的图像。接下来，鉴别器将作出预测，该图像是目标图像的副本，还是由代理生成的。图像越难鉴别，代理得到的回报越多。

重要的是，这一切是可以解释的，因为它产生了一系列控制模拟画笔的动作。同时值得注意的是，这里对绘画的笔顺并没有强调，只要画得像，就不管是怎么画出来的了。

在人脸的真实数据集上，强化对抗式学习也取得了不错的效果。绘制人脸时，代理能够捕捉到脸部的主要特征，例如脸型、肤色和发型，就像街头艺术家用寥寥几笔描绘肖像时一样：

谷歌称，教会人工智能从对世界的观察中获得结构关系并表达出来，这是人工智能建立人类认知、概括和沟通能力的必由之路。

大数据文摘公众号后台回复“图像”，即可获取这篇论文。

谷歌DeepMind博文链接：

https://deepmind.com/blog/learning-to-generate-images/

【今日机器学习概念】

Have a Great Definition

开课倒计时3天

数据科学实训营第5期

优秀助教推荐|土豆

现今纷纷扰扰的数据科学培训市场，是不是早已让你眼花缭乱，无处落足，还没有找到组织？不必慌张，土豆老司机拉住你的手，语重心长的要为你指条明道：究竟优质的数据科学教育培训是什么样的？

课程干货满满还不失风趣，讲师精力充沛还热爱分享，助教认真批改还热情反馈。

没错！数据科学实训营就是这样的明星课程！从基础的 Python 编程和Scrapy爬虫，到熟练运用 Numpy/Pandas/Matplotlib/Seaborn/Scikit-learn 等多种Python库，打通机器学习的任督二脉，在真实的数据科学竞赛案例和数据挖掘项目的打磨下，完成从数据科学小白到骨灰级玩家的华丽转变！

作为第4/5期的实训营助教，寄语小白学员：坚持跟上课程进度，按时完成所有作业，认真做好学习笔记，最终一定可以实现轻松入门数据科学哈！