90后「六指琴魔」用AI重现90年前老北京原声影像，来玩「找爷爷」游戏吧！

---

  新智元原创  

编辑：鹏飞、白峰

【新智元导读】北京90后程序员用AI修复老北京原声视频，完全火出了圈，甚至惊动了央视！他为何这么牛？看完技能树，我彻底酸了：游戏、漫画、3D、VR、音乐样样精通，跑AI模型也手到擒来。

你见过哪些被上天眷顾的幸运儿？我就知道一个小哥。他利用业余时间，用AI做了一个视频，结果爆火，还惊动了央视，要求一起做视频！

 

自称「程序员里最会画画的作曲家」的博主@大谷Spitzer，5月份用AI做了一个「AI修复100年前老北京影像」的视频，主要是展现了老北京的市井生活和民宿活动。大谷给视频配上了BGM，大部分都是北京民俗的历史文化录音，视频中出现的道教音乐出自北京白云观。在B站上也火的一塌糊涂。

 

最终，央视新闻也看上了他，和小哥联手又搞出了AI复原第二集：AI重现90年前北京原声影像。

 

 

但这次央视出马，牌面一下子就上去了，直接用的原声！OST有没有！

原视频是90年前，国外摄影师在北京街头闲逛的时候，记录下的各种名场面。当时还是用的黑白全手动摄像机，就像黄飞鸿电影里俄国人送给十三姨的那种。光学变焦、智能目标追踪、机身防抖等功能……所有有时候视频会比较抖。

 

 

穿越90年前老北京，听街头盲人演奏Jazz、看剃头师傅跟顾客说相声  

视频一开始一个小伙子拍着自己的光头，先是「啊啊啊」的大叫，然后不停的说「剃挺好」，开心的像个孩子，让人不觉被他的欢乐情绪感染。

 

摄影师给这段儿视频起了个名儿，叫不要租金的理发店。估计是说剃头挑子露天理发，没有店面不存在交房租的问题。弹幕沦陷了…

 这小哥哥一看人就比较贫，一边儿剃头，一边儿就跟剃头师傅扯起了闲篇儿：

 

刀快吗？

快

一天挣多少钱啊

两块

家住哪儿啊？

京东（北京东边儿）

家里几口人？

十口（那个年代没有计划生育）

好好剃啊，剃好了多给钱，给他们一人一块

也不知道最后给没给人十块钱。 网友纷纷表示：下面请欣赏相声《剃头》。

 

通过下面这段对比视频，可以看到原始黑白菲林效果，以及AI上色后的彩色菲林效果。无论从画质，还是人物的肤色、着装颜色，都显得非常逼真。让你一看，就觉得确实有哪个年代的额味儿了。

 

‍

 

不过弹幕纷纷表示小哥哥像黄渤……

老外也挺逗，将街头盲人演奏的民乐，说成是Jazz。当然，你要光从乐队这阵仗以及音乐效果来看，有管乐、弦乐、打击乐，确实有那么点儿Jazz的架势。

 

此外，还有一段视频提到了给学生送视频的流动餐车。

 

‍‍

小孩子涌在大锅前面，一个个拿着碗手伸的老长，嘴里还不停的说「给我一份儿、给我一份儿」……弹幕里已经有人开始号召大家来玩「找爷爷」的游戏了。‍‍‍

虽然不知道吃的是什么，屏幕前的我，也好想说一句：给我一份吧。

 

视频背后技术DeepRemaster：使用全卷积网络实现对老旧影像的修复

  

除了感谢原视频提供者外，大谷在视频中还特别感谢了DeepRemaster提供的技术支持，论文被计算机图形学顶会SIGGRAPH Asia 2019 收录。

 

 

日本筑波大学和早稻田大学的两位研究者合作提出了基于注意力机制的时间卷积神经网络的单一框架，以半交互的方式处理所有重制任务，使用全卷积网络实现对老旧影像的修复。

 

他们提出的 source-reference 注意力允许模型处理任意数量的彩色参考图像（reference color images），在不需要分割的情况下给长视频上色，同时保持时间一致性。与之前的方法相比，该方法的性能随着视频长度和彩色参考图像数量的增长而增长。

 

与以往方法相比，用 DeepRemaster 重制的图像更接近与真实世界的色彩。能够很好的完成像视频中这样黑白老旧照片的上色任务。

 

大谷是何方神圣？90后全栈艺术家

 

             

 

大谷1991年生于北京（28岁），获得了纽约视觉艺术学院电脑艺术硕士学位。作为一个艺术家，音乐家，程序员和独立的游戏设计师，生产力真是爆炸。

来感受一下他的作品，包括Steam游戏、原创游戏音乐、sketch手绘、动漫等等各种位面。

               

大谷的作品

  

你可能听多了全栈工程师，那全栈艺术家了解一下？游戏、漫画、3D、VR、音乐样样精通，当然在开源基础上跑几个AI模型，也是手到擒来。

大谷除了利用这些开源的AI模型，还结合了高超的后期技巧，百年前的老北京生活才能栩栩如生地出现在人们面前。

 

             

大谷的技术栈，技能树简直全点满了

 

将艺术融于游戏，要做有灵魂的创作者

大谷的口头禅「Game is art」！

虽然是个90后，但他从事游戏开发和音乐相关的工作已经超过10年，而且小哥有21年的钢琴经验，不愧是六指琴魔啊！难怪他的游戏中总是充满了各种艺术形式，让玩家能在平和的氛围中全身心体验游戏的快乐。

 

一个人，一座城

 

2018年大谷独立开发了bilibili独家代理发行的策略模拟经营游戏《漫展模拟器》（英文名：The Con Simulator）。

 

漫展gif图

 

《漫展模拟器》背景设定在经济危机下的大都会之国，玩家需要通过合理经营举办漫展来打败竞争对手，拯救世界。

 

大谷独立完成了游戏的策划、美术、程序、音乐等全部内容的制作。

 

这款游戏的创意来自于大谷大学时期参加过的一场漫展，他作为摊主参加了这次漫展，于是制作一款模拟经营漫展游戏的想法就此诞生了。为了丰富这款游戏的内容，大谷花费了大量的时间在参加各种展览上，并将展览中的经历与收获融入了自己的游戏中。

 

在制作过程中，他还用视频记录下了开发过程并上传至了B站。

        

赶紧去大谷的B站主页开启你的漫展吧！

多才多艺的大谷最近甚至在学扬琴：

 

AI工具门槛并不高，希望大家都能轻松上手，做出好玩的东西

大谷是怎么想到要做这个视频的呢？在采访中，他说：一次偶然的机会看到了这部影片，于是萌生出要修复它的想法。

「作为老北京人，我也很好奇100年前咱们的北京是什么样的，刚好我也了解到有这种复原的技术，我也想试一下。」

他希望不断做出有趣的AI视频分享给大家，用实际行动告诉大家，AI创作的门槛其实并不高，希望同好们能够一起创作出更多更好的作品。

大谷说：现在大多数代码都是开源的，使用者只用摁个按钮、输入几行字，它就可以帮你实现这些功能，所以希望大家都能轻松地上手尝试。

视频地址：

https://www.bilibili.com/video/BV1ga4y1e77T

 

论文地址：

http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html