视频直接变漫画！GAN又有了新玩法 | Demo+代码+论文

来源：量子位

GAN，又有了新“玩法”。

最近，一个能够将视频直接转化成漫画的工具，引发了很大关注。

它的效果是这样的：

Twitter上不少学者去围观，体验的效果是这样的：

有网友评价称，“漫威感”扑面而来。

效果直逼漫威？

目前，Demo已经放出，量子位以《复仇者联盟3》中的一个片段为例，测试了一下实际效果，得到了这样的一幅图。

画面看上去的确非常惊艳，但是……如果不看原视频，只看这个漫画，你知道它讲的是啥吗？

......

现在给出正确答案：

体验Demo时，可以自己上传视频，也可以选择YouTube中的视频。当然，他们也提供了一些样本视频，可以直接体验。

如上图所示，在生成Demo时，还有一些选项，能够影响生成的漫画。

这些选项分别可以控制视频中帧的选择、每一帧的提取方法、图像评估方法，以及漫画的风格迁移模型。

这基本上也呈现出了项目团队的大致思路：使用基于强化学习的关键帧提取算法，提取视频中有意义且有代表性的帧，然后对关键帧进行评估，确认主要的画面之后，再进行使用GAN进行风格迁移，形成漫画风格。

在风格迁移方面，研究团队对当前已经发表的漫画风格迁移模型进行了研究，最后基于CartoonGAN的方法，利用MS COCO数据集训练出了自己的ComixGAN模型，作为Demo中的默认模型。

上手资料齐全

这个项目，来自于波兰华沙理工大学。Demo网站提供了API接口。

GitHub上也有源代码。

当然，论文也出来了。

不过，特别吐槽的一点是，这个Demo网站不稳定到让人吐血，动不动就崩溃，有些时候直接罢工。

如果你对这个项目感兴趣，且有足够的“耐心”，下面的传送门请收好：

论文：

https://arxiv.org/abs/1812.03473

Demo地址：

https://comixify.ii.pw.edu.pl/

GitHub：

https://github.com/maciej3031/comixify

高质量延伸阅读

☞ OpenPV平台发布在线的ParallelEye视觉任务挑战赛

☞【学界】第1届“智能车辆中的平行视觉”研讨会成功举行

☞【学界】生成式对抗网络：从生成数据到创造智能

☞【学界】OpenPV：中科院研究人员建立开源的平行视觉研究平台

☞【学界】基于平行视觉的特定场景下行人检测

☞【学界】ParallelEye：面向交通视觉研究构建的大规模虚拟图像集

☞【CFP】Virtual Images for Visual Artificial Intelligence

☞【最详尽的GAN介绍】王飞跃等：生成式对抗网络 GAN 的研究进展与展望

☞【智能自动化学科前沿讲习班第1期】王飞跃教授：生成式对抗网络GAN的研究进展与展望

☞【智能自动化学科前沿讲习班第1期】王坤峰副研究员：GAN与平行视觉

☞【重磅】平行将成为一种常态：从SimGAN获得CVPR 2017最佳论文奖说起

☞【平行讲坛】平行图像：图像生成的一个新型理论框架

☞【学界】基于生成对抗网络的低秩图像生成方法

☞【学界】Ian Goodfellow等人提出对抗重编程，让神经网络执行其他任务

☞【学界】六种GAN评估指标的综合评估实验，迈向定量评估GAN的重要一步

☞【资源】T2T：利用StackGAN和ProGAN从文本生成人脸

☞【学界】 CVPR 2018最佳论文作者亲笔解读：研究视觉任务关联性的Taskonomy

☞【业界】英特尔OpenVINO™工具包为创新智能视觉提供更多可能

☞【学界】ECCV 2018: 对抗深度学习: 鱼 (模型准确性) 与熊掌 (模型鲁棒性) 能否兼得