来自:开源最前线(ID:OpenSourceTop)
链接:https://blogs.nvidia.com/blog/2019/03/18/gaugan-photorealistic-landscapes-nvidia-research/、GitHub项目页
一个新手画家经常会出现自己想画的,和实际画出来的效果大相径庭的情况,但英伟达(NVIDIA)新开源的工具就厉害了,它利用生成对抗网络(GAN),随便几个线条就能生成栩栩如生的图像
使用该模型的互动应用程序被命名为GauGAN,以此来致敬印象派画家梵高。深度学习研究副总裁Bryan Catanzaro说:“通过简单的草图进行头脑风暴设计要容易得多,而且这种技术能够将草图转换成高度逼真的图像。”
Catanzaro将GauGAN背后的技术比作“智能画笔”,可以填充草图中的细节,粗略分割图是显示场景中物体位置的高级轮廓图。下图是一个NVIDIA样本输入和输出
还有这样的:
“这就像一张彩图图片描述了一棵树在哪里,太阳在哪里,天空在哪里,”卡坦扎罗说。“然后神经网络能够根据它对真实图像的了解,填充所有的细节和纹理,折射,以及阴影和颜色。”
GauGAN 背后的技术来自来自英伟达和 MIT 的研究团队。这个团队,包括来自英伟达的 Ting-Chun Wang、刘明宇(Ming-Yu Liu),Taesung Park (当时在英伟达实习),以及来自 MIT 的朱俊彦(Jun-Yan Zhu)。
目前,SPADE已经在GitHub上获得3616个Star,264个Fork。(GitHub地址:https://github.com/NVlabs/SPADE)
安装方法
克隆这个 repo
git clone https://github.com/NVlabs/SPADE.git
cd SPADE /
此代码需要PyTorch 1.0和python 3+。需安装依赖项
pip install -r requirements.txt
此代码还需要Synchronized-BatchNorm-PyTorch同步。
cd models/networks/
git clone https://github.com/vacancy/Synchronized-BatchNorm-PyTorch
cp Synchronized-BatchNorm-PyTorch/sync_batchnorm . -rf
cd ../../
最后,如果你想要看见文中所展现的效果,你还需要一台有8个 V100 GPU 的 NVIDIA DGX1 机器。
●编号804,输入编号直达本文
●输入m获取文章目录
程序员数学之美
更多推荐《25个技术类公众微信》
涵盖:程序人生、算法与数据结构、黑客技术与网络安全、大数据技术、前端开发、Java、Python、Web开发、安卓开发、iOS开发、C/C++、.NET、Linux、数据库、运维等。