在《绝地求生》中玩《堡垒之夜》！深度学习帮你转换画风- 专知

在《绝地求生》中玩《堡垒之夜》！深度学习帮你转换画风

【导读】网游《绝地求生》前段时间大火，朋友圈，群聊常被“吃鸡”的消息刷屏。而另一个“大逃杀”游戏《堡垒之夜》也十分火爆，甚至玩法十分新颖，推出了”建造系统“，允许玩家像瞄准和射击一样轻松容易地放置墙壁、地板、天花板和斜坡。只要玩家用他们的镐头砸碎足够多的树木、砖块和金属，他们就可以架设复杂的摩天大楼或者能边移动边制作掩体墙壁。但相比之下，《绝地求生》的画风更为真实，而《堡垒之夜》偏漫画风。如何迅速适应《堡垒之夜》？CycleGAN帮你完成画风转换。

作者：Chintan Trivedi

编译：专知

整理：Yingying, Jiahui

神经网络尝试在《绝地求生》的视觉风格中重现《堡垒之夜》。

如果你是一名游戏爱好者，你一定听说过现在疯狂流行的两个“大逃杀”游戏，《堡垒之夜》（Fortnite）和《绝地求生》（PUBG，吃鸡）。他们很相似，游戏开局时，有100个玩家被放逐到小岛上，收集武器和装备，互相攻击，直到剩下一个幸存者，大吉大利，晚上吃鸡！《堡垒之夜》的玩法更加有意思，游戏机制更加简单，小学生都能很快上手，还能像“我的世界（MineCraft）”一样建造元素，游戏画风偏向美漫风，而《绝地求生》的视觉效果更加逼真。因此，我们能否可以为游戏提供图形模块，以便自由地切换喜欢的视觉效果？怎样在《绝地求生》的视觉效果中展现《堡垒之夜》的帧？深度学习解决了这个问题！ CycleGANs恰好擅长图像风格转换。在本文中，我将介绍CycleGAN的工作方式，然后训练他们将《堡垒之夜》的视觉风格转换为《绝地求生》。

Fortnite（左）拥有卡通画面和PUBG（右）以及更逼真的视觉效果。

什么是CycleGAN？

CycleGAN是用于跨域图像风格转移的一种生成对抗网络。可以训练他们将一个域的图像（如《堡垒之夜》）转换为另一个域（如《绝地求生》）。该任务是无监督的，即不需要成对的监督数据集。

网络能够理解原始域图像中的对象，并应用必要的转换来匹配目标域图像中同一对象的外观，在原始论文中，作者举的例子是野马匹转化为斑马，将苹果变成橘子，将照片转换成名家画风的绘画等。

CycleGAN如何工作？

让我们用《堡垒之夜》和《绝地求生》的画风转换来了解CycleGAN的工作原理。用这两款游戏的截图，可以训练两个GAN，分别学习《堡垒之夜》和《绝地求生》的画风。这两个网络以循环方式同时训练，来学习形成相同对象之间的关系，从而进行适当的视觉转换。下图显示了这两个网络的循环设置的一般架构。

我们从《堡垒之夜》的原始图像开始训练过程。我们将训练两个深层网络，一个生成器和一个判别器。判别器F将区分《堡垒之夜》的真实和虚假图像。生成器将来自《堡垒之夜》的图片生成《绝地求生》的图片。

为了确保这种转变是有意义的，我们对原始图片进行重构。我们同时训练另一组生成器/判别器，它可以从假域重建原始域中的图像。我们强调这种重构必须与原始图像相似，这就产生了循环损失误差，而训练目标是尽可能减少重建误差。这与自动编码器类似，不同之处在于我们不在中间步骤的潜在空间中寻找编码，而是在目标域中寻找整个图像。