90后「六指魔琴」AI修复100年前老北京影像，他还是程序员里最会画画的作曲家

---

  新智元报道  

来源：微博等

编辑：啸林、白峰

【新智元导读】北京90后程序员大谷用AI修复百年前北京的视频，完全火出了圈。他为何这么牛？看完技能树，我彻底酸了：游戏、漫画、3D、VR、音乐样样精通，跑AI模型也手到擒来。「新智元急聘主笔、高级主任编辑，添加HR微信（Dr-wly）或扫描文末二维码了解详情。」

最近，一位程序员做的用AI修复百年前北京的视频，彻底火出圈了。

自称“程序员里最会画画的作曲家”的博主@大谷Spitzer制作的这个视频，在微博获得了60万赞和13万转发、3万多评论。

在B站上在3天内就获得了120万播放量。

 

  在影片的一开始，我们便被拉回到民国初年，1920年。

1920年的北京紫禁城依然维持着一个清王朝遗留下来的逊清皇室小朝廷，一直持续到1924年11月5日国民军正式进入接管，溥仪被迫出宫。

 

老外在逗狗。B站弹幕评论：“告诉你一个恐怖消息：视频里的人都已作古”。

熙熙攘攘的集市。很多清代的社会文化风俗在当时还继续维持着，所以会出现许多未剃发的市民。

‍ 

一个小孩在街头买了吃的，坐在别人家门口吃，被出门的人看见赶跑。

 

‍

还能看到那时的人见面相互打躬作揖，礼仪非常讲究。

据网友科普，视频里有三种礼仪：第一种，打千礼，满人专用。第二个礼是作揖，汉人男子之间的见面礼，看见过孔子像吗他就在作揖。第三个是万福礼，汉人女子的见面礼，古代女子通用。

‍ 

还能看到做白事抬棺现场。

‍

大谷给视频配上了BGM，大部分都是北京民俗的历史文化录音，视频中出现的道教音乐出自北京白云观。

 

下面让我们看看原版视频：

 

视频怎么做出来的？用了3种开源AI工具

这里面一共用了3个在GitHub上开源的AI程序，第一个是负责做补帧的DAIN，第二个是做分辨率扩增的ESRGAN，第三个是上色的DeOldify，综合到一起才做成了这个视频。

 

此外还用付费的VirtualDub做了一些老电影降噪处理，以及其他许多插件。

DAIN：深度感知视频帧插值（DAIN）模型，通过探索深度信息来显式地检测遮挡。该项目开发了一个深度感知流动投影层，优选取样更近的物体，以合成中间流插补视频帧。

 

ESRGAN：ESRGAN改进自SRGAN ，主要用来做视频超分辨率。与SRGAN的深层模型越来越难以训练相反，更深层次的 ESRGAN 模型通过简单的训练就能达到卓越的性能，核心点在于平衡视觉质量和峰值信噪比的网络插值策略。

       

DeOldify：DeOldify 使用了NoGAN 进行训练，NoGAN对于获得稳定和丰富多彩的图像是至关重要的。NoGAN 训练结合了 GAN (美妙的着色)的好处，同时消除了副作用(如视频中的闪烁对象)。视频渲染使用孤立的图像生成，没有天际任何时间建模。

 

             

在采访中，大谷说，传统的人工修复视频，靠的是绘画师手绘一帧帧上色，而AI使用的是同样的工作逻辑，只不过AI的运算速度和积累快得多。

 

大谷认为，影片中的颜色只是AI自己训练出来的，比较淡，但很难做到完全的历史精确，而人类艺术家则会基于当时的历史进行还原，因而就会更精确。

 

大谷是何方神圣？90后全栈艺术家

 

             

 

大谷1991年生于北京（28岁），获得了纽约视觉艺术学院电脑艺术硕士学位。作为一个艺术家，音乐家，程序员和独立的游戏设计师，生产力真是爆炸。

来感受一下他的作品，包括Steam游戏、原创游戏音乐、sketch手绘、动漫等等各种位面。

               

大谷的作品

  

你可能听多了全栈工程师，那全栈艺术家了解一下？游戏、漫画、3D、VR、音乐样样精通，当然在开源基础上跑几个AI模型，也是手到擒来。

大谷除了利用这些开源的AI模型，还结合了高超的后期技巧，百年前的老北京生活才能栩栩如生地出现在人们面前。

 

             

大谷的技术栈，技能树简直全点满了

 

将艺术融于游戏，要做有灵魂的创作者

大谷的口头禅「Game is art」！

虽然是个90后，但他从事游戏开发和音乐相关的工作已经超过10年，而且小哥有21年的钢琴经验，不愧是六指魔琴啊！难怪他的游戏中总是充满了各种艺术形式，让玩家能在平和的氛围中全身心体验游戏的快乐。

 

一个人，一座城

 

2018年大谷独立开发了bilibili独家代理发行的策略模拟经营游戏《漫展模拟器》（英文名：The Con Simulator）。

 

漫展gif图

 

《漫展模拟器》背景设定在经济危机下的大都会之国，玩家需要通过合理经营举办漫展来打败竞争对手，拯救世界。

 

大谷独立完成了游戏的策划、美术、程序、音乐等全部内容的制作。

 

这款游戏的创意来自于大谷大学时期参加过的一场漫展，他作为摊主参加了这次漫展，于是制作一款模拟经营漫展游戏的想法就此诞生了。为了丰富这款游戏的内容，大谷花费了大量的时间在参加各种展览上，并将展览中的经历与收获融入了自己的游戏中。

 

在制作过程中，他还用视频记录下了开发过程并上传至了B站。

        

赶紧去大谷的B站主页开启你的漫展吧！

多才多艺的大谷最近甚至在学扬琴：

 

AI工具门槛并不高，希望大家都能轻松上手，做出好玩的东西

大谷是怎么想到要做这个视频的呢？在采访中，他说：一次偶然的机会看到了这部影片，于是萌生出要修复它的想法。

“作为老北京人，我也很好奇100年前咱们的北京是什么样的，刚好我也了解到有这种复原的技术，我也想试一下。”

他希望不断做出有趣的AI视频分享给大家，用实际行动告诉大家，AI创作的门槛其实并不高，希望同好们能够一起创作出更多更好的作品。

大谷说：现在大多数代码都是开源的，使用者只用摁个按钮、输入几行字，它就可以帮你实现这些功能，所以希望大家都能轻松地上手尝试。

大谷前天还给另外一个老视频点了赞：

 

‍

这会不会是他要下手的下一个AI修复视频呢？让我们一起期待吧~

参考链接：

http://dgspitzer.my-style.in/gameportfolio/