GTC19 | 现代版神笔马良，GauGAN将涂鸦点睛为逼真画作

NVIDIA研究利用生成式对抗网络创建高度逼真的场景。

一位新手画家可能会遇到这样的尴尬：提笔之初，原本设想的本来是一幅令人为之惊叹的日落景观——玻璃般的湖面反射出白雪皑皑的蜿蜒山脉，然而最后画出的效果却只是画布上层层的墨迹。

但是，NVIDIA Research开发的深度学习模型却能将这一情形逆转：它能将粗略的涂鸦转变成令人叹为观止的逼真杰作。这一工具利用生成式对抗网络（GAN），能够将分割图转换为栩栩如生的图像。

基于该模型的交互应用程序被命名为GauGAN（发音似“高更”），以致敬后印象派画家高更（Gauguin）。

后印象派画家保罗·高更曾创作过几幅自画像，其中包括金贝尔艺术博物馆收藏的创作于1885年的作品。（照片来自Wikimedia Commons，获许可允许公开使用）。

GauGAN为各行各业的专业人士提供了一个能够创建虚拟世界的强大工具——从建筑师、城市规划者、到景观设计师和游戏开发者。借助知晓现实世界的真实样貌的AI，这些专业人士能构思出更加出色的原型创意，并对合成的场景进行快速修改。

NVIDIA应用深度学习研究副总裁Bryan Catanzaro表示： “通过把简单的速写转换成高度逼真的图像，这一项技术能够将头脑风暴的设计方式变得更加容易。”

Catanzaro将GauGAN所采用的技术比作 “智能画笔” ，它能够填充粗略分割图（即显示场景中物体位置的大致轮廓图）中的细节。

借助于GauGAN，用户能够绘制自己的分割图并构建场景，并用沙子、天空、海洋或雪等标签对每个部分进行标记。

该深度学习模型接收过一百万张图像的训练，能够对风景画进行填充，从而呈现精彩绝伦的效果：让你仿佛置身一座池塘中，附近的树木和岩石等元素都倒映在水中。如果将分割标签从“草”切换为“雪”，整个图像也会随之会变为冬季场景，之前青葱的绿树也将凋谢。

“这就像一本填色图册里的图画，其中描绘了树木、太阳和天空的位置，” Catanzaro说道。“然后神经网络会根据其对真实图像的了解，为图片填充所需的细节和纹理，以及反射、阴影和颜色。”

尽管GAN对真实的物理世界缺乏理解，但它却能够生产足可以假乱真的效果，这是因为它所采用的结构是一对合作式的网络：生成网络和判别网络。生成网络会创建图像并展示给判别网络；判别网络接受过基于真实图像的训练，能够逐像素地为生成网络提供反馈，并对其进行指导，教会其如何提升合成图像的真实感。

接受过真实图像训练的判别网络知道真实的池塘和湖泊会产生反射，通过判断网络的反馈，生成网络也将习得如何模仿这一效果，从而创建出令人信服的图像。

用户还能够使用这一工具添加样式过滤器，更改生成的图片的风格，模仿特定的画家画风，或将一幅白昼场景转化为日落景象。

“这项技术不是简单将其他图像拼接在一起，或是进行纹理切割和粘贴，”Catanzaro说道。“事实上，它是在合成新的图像，这很像艺术家的绘画方式。”

虽然GauGAN应用程序专注于陆地、海洋和天空等自然元素，但其潜在神经网络也能够填充其他景观元素，包括建筑物、道路和人。

去年6月，GauGAN的相关研究论文从5000多篇论文中脱颖而出，在CVPR会议上做展示介绍（录取率仅为5%）。