你的老婆你做主:画风自定义,内容自定义,南加大AI助你走上人生巅峰

2019 年 6 月 3 日 极市平台

加入极市专业CV交流群,与6000+名企名校视觉开发者互动交流,每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流点击文末“阅读原文”立刻申请入群~

ps.6月5日(本周三)晚20:00,极市邀请了英特尔(中国)资深视觉应用工程师周兆靖,为我们分享:如何利用开源OpenVINO™工具集加速深度学习推理,欢迎各位小伙伴参与直播,与嘉宾互动交流~


栗子 发自 凹非寺 
量子位 报道 | 公众号 QbitAI


你说,英伟达StyleGAN能生成这样可爱的老婆,还要什么自行车?



不不不。包括StyleGAN在内的算法,要么是保留了高级语义,不能在语义层面控制画风;

要么是能学到某个特定领域的画风,但又很难扩展到多种多样的画风。


总结成一句话,就是根本不能定制自己的老婆。



南加大的两位男子,深感前辈的算法不够用,自行开发了不一样的老婆生成器:


新的算法基于风格迁移,可以把画风内容分开定制。


画风,就是妹子的质感。比如,这张六花晶莹透亮,头发泛着光,脸庞泛着光:



控制这样的画风,不限内容,就能生成许多反光能力很强的妹子。发色、瞳色、表情都不一样。



内容,就是妹子的特征。比如,你喜欢蓝发,紫瞳,轻微嘟嘴。


只限内容,不限画风,就会生成许多你想要的妹子:


△ 俗话说:如果智障有颜色,那么一定是蓝色

老婆定制技能达成,每一天都是人生巅峰。


那么,研究人员是怎么登上巅峰的?


如何拆分画风和内容


预警:前方有晦涩句子,但不超过三句话。


团队说,风格迁移可以表述成一个一般问题 (General Question) 的特定实例 (Particular Instance) 。


那里的数据集,有两个互补的变化因子 (Factors of Variation) ,其中一个是标注好的。目标是训练一个生成网络,能把两个因子拆分开来,独立控制。


具体到生成老婆的任务上来,两个因子就是画风和内容了。


首先,画风是怎样定义的呢?


团队决定把不同的人类画家的作品,标注成不同的画风。



比如,上面这两个妹子都来自Sayori;下面这两个妹子都来自Swordsouls。



在这两位艺术家的熏陶之下,AI解锁了两种不同的画风:



除此之外,还要解决“内容”的问题。


研究人员用了独立于画风的内容编码 (Style Independent Content Encoding) :训练一个编码器,尽可能多的编码图像内容相关的信息,而不去包含风格信息。


回顾一下,开头出现的那些蓝妹子,就是从这里开始孕育的。



可是,自编码器生成的图像,自古以模糊著称。


所以,需要有一双条件生成器 (Dual-Conditional Generator) ,才能生成清晰美好的老婆。


这个生成器,是基于辅助分类器GAN (Auxiliary Classifier GAN) 的原理打造而成。


到这里,自编码器 (第一阶段) 和生成器 (第二阶段) ,一同组成了完整的老婆定制工具。


猫娘爱好者

问题来了,到底是怎样的人类,开发了这个造福人类的算法?


论文的一作,是来自南加大的项思陶,一位每日同猫娘说晚安的少年 (说不定算法也是为了生成猫娘,才开发的) 。


下面是少年的香草cos图,背景为傍晚的实验室。



安全起见,在下决定不放出完整版。但你可以自己去找啊。


论文传送门:
https://arxiv.org/abs/1905.10742

少年的个人网站:

https://stormraiser.me/



*延伸阅读



点击左下角阅读原文”,即可申请加入极市目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群,更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流,一起来让思想之光照的更远吧~



觉得有用麻烦给个在看啦~  

登录查看更多
0

相关内容

专知会员服务
54+阅读 · 2020年7月4日
少标签数据学习,54页ppt
专知会员服务
194+阅读 · 2020年5月22日
【芝加哥大学】可变形的风格转移,Deformable Style Transfer
专知会员服务
30+阅读 · 2020年3月26日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【强化学习】深度强化学习初学者指南
专知会员服务
178+阅读 · 2019年12月14日
学习一个宫崎骏画风的图像风格转换GAN
AI科技评论
18+阅读 · 2020年3月13日
基于GAN的极限图像压缩框架
论智
11+阅读 · 2018年4月15日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
ViZDoom Competitions: Playing Doom from Pixels
Arxiv
5+阅读 · 2018年9月10日
Arxiv
7+阅读 · 2018年6月19日
VIP会员
相关VIP内容
专知会员服务
54+阅读 · 2020年7月4日
少标签数据学习,54页ppt
专知会员服务
194+阅读 · 2020年5月22日
【芝加哥大学】可变形的风格转移,Deformable Style Transfer
专知会员服务
30+阅读 · 2020年3月26日
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【强化学习】深度强化学习初学者指南
专知会员服务
178+阅读 · 2019年12月14日
Top
微信扫码咨询专知VIP会员