AI还原的朱元璋、兵马俑来了！杜甫激燃演唱奥特曼主题曲，B站Up主大谷新作

会员服务 ·

AI还原的朱元璋、兵马俑来了！杜甫激燃演唱奥特曼主题曲，B站Up主大谷新作

2020 年 8 月 26 日 CVer

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

本文转载自：机器之心 | 编辑：张倩、蛋酱

朱元璋、林黛玉、兵马俑、杜甫…… 这些历史人物到底长什么样？B 站 up 主「大谷」帮我们用 AI 还原出了一种可能。

无论是理科还是文科的同学，想必都对中学历史课本上的「朱元璋」画像印象深刻。这幅画像里的朱元璋长了一张「鞋拔子脸」，只能用帝王特有的「异相」来解释。

然而，在故宫南熏殿所藏的官方正式版历代帝王画像中，朱元璋的长相就正常多了：

朱元璋到底长什么样？其实这个问题一直都有争议。很多人认为，故宫收藏的官方画像似乎更有说服力，因为这两幅画的相貌相似程度和随年龄的演变不容易造假。

虽然画像可以大体还原古人的长相，但总不及照片来得写实、清晰。最近，国内外似乎掀起了一场用 AI 还原古人的潮流，先是有设计师用 GAN 和 PS 复原了他眼中的古罗马皇帝群像，后有 B 站 up 主「大谷」用 AI 还原中国皇帝朱元璋，还是能动的那种：

居然有点帅是怎么回事？

此外，大谷此次还复原了林黛玉、徐悲鸿等人的画像以及蒋兆和、黄胄等人经典画作中的人物：

林黛玉。

蒋兆和《老伴》。

徐悲鸿。

黄胄《于阗歌舞图》。

就连博物馆的兵马俑也有了写实的长相：

评论区有人说：「想看秦始皇，以后转账的时候好对比一下。」

前面说到课本，还记得你当年涂过的杜甫吗？作为课本涂鸦界最受欢迎的人物，杜甫也在新一期的视频中出镜了，而且还唱上了奥特曼主题曲《奇迹再现》，有望成为 B 站新一轮鬼畜素材。

大谷在视频中简单介绍了这些成果和他所用的方法（友情提示：不关弹幕可能看不到作品）。或许，我们离哈利波特的魔法世界真的不远了。

修复技术细节

大谷在视频中介绍称，影片的 AI 工作流来自海外博主 Denis Shiryaev 的教程，Denis 曾在 AI Stuff 系列中修复了很多西方经典油画人物，我们可以将其称为「神经网络的艺术」。

比如神秘的蒙娜丽莎：

墨西哥传奇女画家弗里达《戴荆棘和蜂鸟项链的自画像》：

还有《戴珍珠耳环的少女》：

《维纳斯的诞生》：

完整视频如下：

Denis Shiryaev 的 youtube 主页：https://www.youtube.com/user/shirman88

Denis 在这一视频中所使用的修复技术有五种，分别是 Face-Image-Motion-Model、StyleGAN2-Face-Modificator、DAIN、ESRGAN 和 Artbreeder。

Face-Image-Motion-Model

项目地址：https://github.com/tg-bomze/Face-Image-Motion-Model

该模型基于「First Order Motion」这一核心模型，方法来源于 NeurIPS 2019 论文《First Order Motion Model for Image Animation》。机器之心此前介绍过的视频会议换脸软件「Avatarify」，也是基于这一技术实现人脸处理的。

论文链接：https://papers.nips.cc/paper/8935-first-order-motion-model-for-image-animation.pdf

「First Order Motion」框架由两个主要模块组成：「运动估计模块」和「图像生成模块」。运动估计模块的目的在于预测密集的运动场，此处假设存在一个抽象的参考坐标，并预估存在「from reference to source」和「from reference to driving」两种转换。因此可以独立处理源帧和驱动帧。做这样的处理是因为模型在测试时会接收从不同视频中采样的源图像帧和驱动帧的组，从视觉上来说可能会很不同。

「First Order Motion」方法概述图。

StyleGAN2-Face-Modificator

StyleGAN2-Face-Modificator 项目效果图。

项目地址：https://github.com/tg-bomze/StyleGAN2-Face-Modificator

StyleGAN2 是英伟达在 2019 年 12 月开源的高分辨率图像生成方法，相比于前辈「StyleGAN」，它在解决生成图像伪影问题的同时，还能得到细节更好的高质量图像。「StyleGAN2-Face-Modificator」则是基于这一技术开发的人脸编辑器工具。

论文链接：https://arxiv.org/abs/1912.04958

DAIN

项目地址：https://github.com/baowenbo/DAIN

DAIN 模型来源于 CVPR 2019 论文《Depth-Aware Video Frame Interpolation》，在这一研究中，上海交通大学、加州大学默塞德分校、谷歌等机构的研究者，针对基于深度学习的视频插帧任务中的常见问题进行了优化， 提出了一种利用深度信息检测遮挡的视频帧插值方法。Denis 在多个修复视频中都使用了这一技术 。

论文地址：https://arxiv.org/pdf/1904.00830.pdf

ESRGAN

项目地址：https://github.com/xinntao/ESRGAN

Denis Shiryaev 视频中所用到的分辨率扩增方法为「ESRGAN」，该方法来源于 ECCV 2018 Workshop 论文《ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks》，研究者在 * *SRGAN 的基础上进行了改进，包括改进网络的结构、判别器的判别形式，以及更换了一个用于计算感知域损失的预训练网络，提出了一种 Residual-in-Residual Dense Block (RRDB) 的网络单元。

论文链接：https://arxiv.org/pdf/1809.00219.pdf

Artbreeder

Artbreeder 是一款在线生成程序，该网站拥有大量不同风格的面部图像，用户可以手动进行调整，将不同的图像混合在一起，生成全新的图像。

近日，设计师 Daniel Voshart 利用 Artbreeder，结合手动调整，修复了 800 张罗马皇帝半身像的照片，在社交网络上引起热议。

网站地址：http://artbreeder.com/

此外，Denis Shiryaev 还在自己的 YouTube 频道发布了许多修复视频，如果你有兴趣的话，可以在他的网站观看更多作品：https://neural.love/

注：本文视频素材来自 B 站账户「大谷的游戏创作小屋」，转载已获授权。

下载1：动手学深度学习

在CVer公众号后台回复：动手学深度学习，即可下载547页《动手学深度学习》电子书和源码。该书是面向中文读者的能运行、可讨论的深度学习教科书，它将文字、公式、图像、代码和运行结果结合在一起。本书将全面介绍深度学习从模型构造到模型训练，以及它们在计算机视觉和自然语言处理中的应用。

下载2：CVPR / ECCV 2020开源代码

在CVer公众号后台回复：CVPR2020，即可下载CVPR 2020代码开源的论文合集

在CVer公众号后台回复：ECCV2020，即可下载ECCV 2020代码开源的论文合集

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2000+人，旨在交流顶会（CVPR/ICCV/ECCV/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI等）、SCI、EI等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群