加强版CycleGAN！贾佳亚等提出卡通图与真实人脸转换模型，看女神突破次元壁长啥样

铜灵 发自 凹非寺
量子位 出品 | 公众号 QbitAI

这一次，你的女神终于可以突破次元壁了。

港中文、哈工大和腾讯优图的一篇最新研究，可以将人脸照片转化成如同手绘版的卡通图，甚至还能反向转换，将二次元的卡通图像，转换成现实中可能的样子。

将真实人脸照片转化成卡通图像，效果超越了CycleGAN。

还能转换成日漫画风，自带了热血青春的气息。

来看看更神奇之处，想看看在漫画中的人物突破了次元壁变成变成什么样，用这个算法一下子就可以了。

这样一个眼镜萌妹的妹子，变成真人后是……

做好准备没——

红色短发妹子变身，锵锵锵锵：

变身后：

头戴卡通蝴蝶结的妹子，变身前：

变身后：

突破次元壁的秘诀，就在一篇论文里。

转换秘籍

这篇论文叫作Landmark Assisted CycleGAN for Cartoon Face Generation。

研究人员表示，通过在真实人脸和卡通人脸之间使用不成对的训练数据来生成人的卡通图片，是他们一直关注的领域。

但在此前，这项任务存在这巨大挑战：

真实和卡通人脸的结构属于两个不同的领域，外观相差很大。如果没有明确的对应关系，很难捕捉基本面部特征，并生成高质量卡通图片。

为了解决这个问题，研究人员提出了Landmark Assisted CycleGAN，它利用面部标志特征来定义一致性损失，指导在CycleGAN中训练局部鉴别器。

来看看整个模型的架构：

在上面这个架构中，研究人员只演示了从人脸到卡通图的翻译部分过程，但从卡通图到人脸的转换过程是类似的。

整体来说，这个转换过程分为3步。

首先，生成器先根据CycleGAN生成一张粗糙的卡通人脸。

随后，模型根据第一步生成的图像，生成一个预训练回归量（regressor），来预测面部landmark，对面部的关键点进行标记。

最后，通过局部和全局两种鉴别器，研究人员细化在卡通图和对应真实图像中的人脸特征。在这个阶段，强调了landmark的一致性，因此最后的生成生成结果逼真且有辨识度。

这两种鉴别器分工不同，并且各司其职。

研究人员表示，设计了就那landmark一致性损失，并将其匹配到全局鉴别器中，增强面部结构的相似性。

其中的显式结构限制了两个域中的图像，确保了语义属性，例如眼睛、鼻子和嘴巴等，即使在成对训练数据的情况下，仍然能够正确匹配。

此外，人脸中的landmark可以用来定义局部鉴别器，进一步指导生成器在训练过程中多关注重要的面部特征。

研究人员表示，还利用这两种不同的卡通风格的图像，构建了一个全新的头像数据集，包含2125个“bitmoji”画风的图像以及17920张动漫样式的图像，并且这些图像都是标记过的。

△ bitmoji画风（图来自其官网）

最终的图像生成效果比原始的CycleGAN效果更高一等。

不同方法和组件的定量比较结果如图：

与其他方法相比，Landmark Assisted CycleGAN的FID(Fréchet Inception Distance)值为1988.50，小于其他的方法。

最后，研究人员进行了用户研究，从是否有特定人脸辨识度、结果是否真实与总体评估三个方向进行研究。

他们选取了48组bitmoji风生成图和59位志愿者进行评分，Landmark Assisted CycleGAN在上面三个指标中均排名第一。

贾佳亚团队

这篇论文来自香港中文大学的Ruizheng Wu、哈尔滨工业大学的Xiaodong Gu，腾讯优图实验室的Xin Tao、Xiaoyong Shen、Yu-Wing Tai和贾佳亚。

对于国内CV研究者来说，贾佳亚不是陌生的名字：

香港中文大学终身教授，腾讯优图实验室杰出科学家，IEEE院士贾佳亚。

他是香港科技大学和微软亚洲研究院联合培养的博士，毕业后的贾佳亚在香港中文大学从助理教授做起，2010年升任副教授，2015年任教授。

他还曾担任计算机视觉顶级学术期刊TPAMI和IJCV的编辑，多次担任计算机视觉学术顶会CVPR和ICCV的领域主席（area chair）。

2017年5月，贾佳亚加盟腾讯优图实验室，任杰出科学家。

传送门

论文Landmark Assisted CycleGAN for Cartoon Face Generation地址：

https://arxiv.org/abs/1907.01424

— 完 —

AI社群 | 与优秀的人交流

小程序 | 全类别AI学习教程

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !