视频 | 两分钟论文:从冬天回到夏天,英伟达的迁移网络能派上用场

2018 年 1 月 14 日 AI科技评论 雷锋字幕组

雷锋字幕组出品系列短视频《 2 分钟论文 》,带大家用碎片时间阅览前沿技术,了解 AI 领域的最新研究成果。

本期论文:Unsupervised Image-to-Image Translation Networks

论文译名:无监督以图生图(图到图迁移网络)

英伟达推出的新技术无监督图到图迁移网络,可以根据已有的图像,创造出不同场景下的新图像。比如,把冬天变成夏天,把城市照片换成城市地图,将白天公路换成夜间公路。


这种技术的一种典型实现方式是使用生成对抗网络(Generative Adversarial Networks,简称GANS)。GANS是一对神经网络,其中的生成网络负责生成合成图像以欺骗判别网络,而判别网络尝试区分生成器生成的合成图像和真实图像。

这两个神经网络共同学习,其中生成网络尝试生成更真实的图像以欺骗判别网络,而判别网络则尝试着能更好的区分真实图像和合成图像。这个对抗过程将使得这两个网络变得越来越好,最终的结果也表明了该技术生成的转化图相当真实。


▷ 观看论文解读大概需要   分钟

在本视频介绍的论文中,作者使用了6个网络而不是2个网络。在一项早期的图像转化工作中,研究者依靠的是循环一致性约束。这意味着我们可以假设源图像可以被转换成目标图像,而目标图像可以再反过来转换成和源图像十分相似的图像。该假设的成立意味着,图像转化并非任意随机,而是隐含了深层次的算法转换。

这项新技术构建在一个假设上,假定存在一个隐空间,在这个隐空间中输入和输出图像可以共存。这个隐空间便是复杂数据的一种直观、简洁的描述。但该技术仍然存在的局限是,训练过程过度依赖对抗网络,没有显在的训练指标,训练过程收敛的临界点自然无从得知。

冬天变成夏天

哈士奇变成柯基

现实世界视频转变成游戏视频

还可以给人换个发型或是戴上墨镜,甚至加个笑容

论文原址:

https://arxiv.org/pdf/1703.00848.pdf
代码:

https://github.com/mingyuliutw/UNIT


翻译/ 邓玉恺    整理/ 孙云  凡江

————— 新人福利 —————

关注AI 科技评论,回复 1 获取

【数百 G 神经网络 / AI / 大数据资源,教程,论文】


—————  AI 科技评论招人了  —————

AI 科技评论期待你的加入,和我们一起见证未来!

现诚招学术编辑、学术兼职、学术外翻

详情请点击招聘启事


—————  给爱学习的你的福利  —————

CCF ADL 系列又一诚意课程

两位全球计算机领域Top 10大神加盟

——韩家炜 & Philip S Yu

共13位专家,覆盖计算机学科研究热点

点击阅读原文马上听课

————————————————————

登录查看更多
0

相关内容

少标签数据学习,54页ppt
专知会员服务
196+阅读 · 2020年5月22日
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
27+阅读 · 2020年4月6日
【GitHub实战】Pytorch实现的小样本逼真的视频到视频转换
专知会员服务
35+阅读 · 2019年12月15日
【强化学习】深度强化学习初学者指南
专知会员服务
179+阅读 · 2019年12月14日
【ICIP2019教程-NVIDIA】图像到图像转换,附7份PPT下载
专知会员服务
53+阅读 · 2019年11月20日
【深度学习视频分析/多模态学习资源大列表】
专知会员服务
91+阅读 · 2019年10月16日
AI 换脸常见方法,从头细说
AI科技评论
9+阅读 · 2019年9月1日
深度学习的冬天什么时候到来?
中国计算机学会
14+阅读 · 2019年7月17日
还在脑补画面?这款GAN能把故事画出来
机器之心
5+阅读 · 2019年7月6日
【学界】英伟达又火了一篇图像转换论文,我们竟然用来吸猫
GAN生成式对抗网络
3+阅读 · 2019年5月10日
大家好,这是香港科技大学PyTorch四日速成教程
机械鸡
110+阅读 · 2017年10月8日
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
7+阅读 · 2018年4月21日
Arxiv
7+阅读 · 2018年1月21日
Arxiv
3+阅读 · 2017年8月15日
Arxiv
9+阅读 · 2016年10月27日
VIP会员
相关资讯
AI 换脸常见方法,从头细说
AI科技评论
9+阅读 · 2019年9月1日
深度学习的冬天什么时候到来?
中国计算机学会
14+阅读 · 2019年7月17日
还在脑补画面?这款GAN能把故事画出来
机器之心
5+阅读 · 2019年7月6日
【学界】英伟达又火了一篇图像转换论文,我们竟然用来吸猫
GAN生成式对抗网络
3+阅读 · 2019年5月10日
大家好,这是香港科技大学PyTorch四日速成教程
机械鸡
110+阅读 · 2017年10月8日
相关论文
Compositional Generalization in Image Captioning
Arxiv
3+阅读 · 2019年9月16日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
Arxiv
8+阅读 · 2018年5月1日
Arxiv
7+阅读 · 2018年4月21日
Arxiv
7+阅读 · 2018年1月21日
Arxiv
3+阅读 · 2017年8月15日
Arxiv
9+阅读 · 2016年10月27日
Top
微信扫码咨询专知VIP会员