加入极市专业CV交流群,与6000+名企名校视觉开发者互动交流,每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流。点击文末“阅读原文”立刻申请入群~
ps.6月5日(本周三)晚20:00,极市邀请了英特尔(中国)资深视觉应用工程师周兆靖,为我们分享:如何利用开源OpenVINO™工具集加速深度学习推理,欢迎各位小伙伴参与直播,与嘉宾互动交流~
你说,英伟达StyleGAN能生成这样可爱的老婆,还要什么自行车?
不不不。包括StyleGAN在内的算法,要么是保留了高级语义,不能在语义层面控制画风;
要么是能学到某个特定领域的画风,但又很难扩展到多种多样的画风。
总结成一句话,就是根本不能定制自己的老婆。
南加大的两位男子,深感前辈的算法不够用,自行开发了不一样的老婆生成器:
新的算法基于风格迁移,可以把画风和内容分开定制。
画风,就是妹子的质感。比如,这张六花晶莹透亮,头发泛着光,脸庞泛着光:
控制这样的画风,不限内容,就能生成许多反光能力很强的妹子。发色、瞳色、表情都不一样。
内容,就是妹子的特征。比如,你喜欢蓝发,紫瞳,轻微嘟嘴。
只限内容,不限画风,就会生成许多你想要的妹子:
老婆定制技能达成,每一天都是人生巅峰。
那么,研究人员是怎么登上巅峰的?
预警:前方有晦涩句子,但不超过三句话。
团队说,风格迁移可以表述成一个一般问题 (General Question) 的特定实例 (Particular Instance) 。
那里的数据集,有两个互补的变化因子 (Factors of Variation) ,其中一个是标注好的。目标是训练一个生成网络,能把两个因子拆分开来,独立控制。
具体到生成老婆的任务上来,两个因子就是画风和内容了。
首先,画风是怎样定义的呢?
团队决定把不同的人类画家的作品,标注成不同的画风。
比如,上面这两个妹子都来自Sayori;下面这两个妹子都来自Swordsouls。
在这两位艺术家的熏陶之下,AI解锁了两种不同的画风:
除此之外,还要解决“内容”的问题。
研究人员用了独立于画风的内容编码 (Style Independent Content Encoding) :训练一个编码器,尽可能多的编码图像内容相关的信息,而不去包含风格信息。
回顾一下,开头出现的那些蓝妹子,就是从这里开始孕育的。
可是,自编码器生成的图像,自古以模糊著称。
所以,需要有一个双条件生成器 (Dual-Conditional Generator) ,才能生成清晰美好的老婆。
这个生成器,是基于辅助分类器GAN (Auxiliary Classifier GAN) 的原理打造而成。
到这里,自编码器 (第一阶段) 和生成器 (第二阶段) ,一同组成了完整的老婆定制工具。
问题来了,到底是怎样的人类,开发了这个造福人类的算法?
论文的一作,是来自南加大的项思陶,一位每日同猫娘说晚安的少年 (说不定算法也是为了生成猫娘,才开发的) 。
下面是少年的香草cos图,背景为傍晚的实验室。
安全起见,在下决定不放出完整版。但你可以自己去找啊。
论文传送门:
https://arxiv.org/abs/1905.10742
少年的个人网站:
https://stormraiser.me/
*延伸阅读
点击左下角“阅读原文”,即可申请加入极市目标跟踪、目标检测、工业检测、人脸方向、视觉竞赛等技术交流群,更有每月大咖直播分享、真实项目需求对接、干货资讯汇总,行业技术交流,一起来让思想之光照的更远吧~
觉得有用麻烦给个在看啦~