「大谷的游戏创作小屋」又用AI修复了一段老北京影像,这次还带时代原声……
剃头挑子、街边地摊、京韵大鼓,多数人可能只在电影、电视剧中看过老北京的这些景象。但早在 90 年前,就有人将这些场景都拍了下来,而且完好地保存在美国南卡罗莱纳大学影像库。影片中还收录了时代原声,原汁原味地记录了当时老北京的平民生活。
90 年后,有人将这些影片翻了出来,还用 AI 进行了修复,包括上色、提高分辨率等操作。
从这段影片中,我们能看到很多非常生活化的场景,比如小学生在学校外边买饭:
在观赏修复效果的同时,我们还能听到剃头师傅和小伙子一问一答:
「这头剃得好,不疼。剃不好,真疼!」「剃好了咱还找你去」
这段场景被当时的拍摄者描述为 「不用付租金的理发师」。
剃完之后,小伙子还不忘给个好评,一边拍着脑瓜一边说:「剃挺好!」 那时候的人大概没有预料到,在 90 年后的今天,现代人都忙着生发、植发、戴假发……
剃完了头逛逛街吧,看看 90 年前的首都地摊长什么样:
可以看到,90 年前的北京街头也是人头攒动,有卖衣服的、卖(遛)鸟的、卖各种小商品的,其热闹程度似乎不亚于疫情前的王府井。
除了这些,街头还有一些老艺人,向我们呈现百年前的京韵大鼓:
看到这里,你或许已经猜到了这段视频的修复者,他就是前段时间很火的 B 站 up 主 「大谷」。就在不久前,大谷在他的 B 站账号「大谷的游戏创作小屋」 上发布了第一个老北京修复影片 。截止目前,该视频的累计播放量已经达到 200 多万,还得到了央视等权威媒体的报道。
这次的修复影像由「大谷的游戏创作小屋」和央视新闻联合发布。原视频出处为南卡罗莱纳大学影像库馆藏胶片,音效也不是后期配音,全部为时代原声。
看完之后,很多人才发现,一百年前的北京市民和现在长得一模一样,口音也如出一辙:「还在想回去要咋交流,原来一样的哈哈哈」
在第一期的老北京影像修复过程中,UP 主借鉴了海外 YouTube 博主 Denis Shiryae 的影像修复教程,包括上海交大 Bao Wenbo 等人提出的 DAIN 插帧技术(参见论文《Depth-Aware Video Frame Interpolation》)。
这一次,UP 主特别提到,除了上述修复技术,自己还用到了一种新技术:DeepRemaster。
论文地址:http://iizuka.cs.tsukuba.ac.jp/projects/remastering/en/index.html
这项技术由日本筑波大学和早稻田大学的两位研究者合作提出,论文被计算机图形学顶会 SIGGRAPH Asia 2019 收录。与近年来使用递归模型处理视频的方法不同,该方法对老旧影像的修复是基于全卷积网络实现的。
老旧影片的修复包含多项步骤,比如超分辨率、噪声消除和对比度增强,旨在让已经老化的影片介质恢复到原始状态。当然,由于特定时代的技术限制,许多老旧影片要么是黑白影像,要么色彩呈现质量较低,因此在修复中也常常需要着色。
在这项研究中,研究者提出了一个单一框架,以半交互的方式处理所有重制任务。该框架基于带有注意力机制的时间卷积神经网络。他们提出的 source-reference 注意力允许模型处理任意数量的彩色参考图像(reference color images),在不需要分割的情况下给长视频着色,同时保持时间一致性。与之前的方法相比,该方法的性能随着视频长度和彩色参考图像数量的增长而增长。
输入一系列的黑白图像,通过预处理网络修复,修复的结果作为最终输出视频的亮度通道。然后,source-reference 网络将预处理网络的输出和任意数目的彩色参考图像结合,产生视频的最终色度通道。
在着色过程中,研究者使用了 source-reference 注意力,让模型依照彩色参考图像中相似区域的颜色对视频进行着色。模型输出部分就是输入视频重制后的版本。
为了测试网络的效果,研究者对一些老旧影像进行了重制,并对该方法进行了定量和定性的深入评估。
在下图中,每个视频最上面一行的图像是着色的参考图像。实验结果表明,利用 source- reference 注意力,使用少量参考图像即可高效获得稳定、一致的数千帧图像。
《Right to Health, A (Part I)》重制结果, 使用了三张参考图像。
《Freedom Highway (1956)》重制结果,使用了两张参考图像。
《The Jungle Book(1967)》重制结果,使用了 41 张参考图像。
与以往方法相比,用 DeepRemaster 重制的图像与真实世界的色彩更加一致。
在噪声消除方面,DeepRemaster 能够很好地处理各种类型的噪声,同时也能够锐化输入图像。
7月11日09:00-12:00,机器之心联合百度在WAIC 2020云端峰会上组织「开发者日百度公开课」,为广大开发者提供 3 小时极致学习机会,从 NLP、CV 到零门槛 AI 开发平台 EasyDL,助力开发者掌握人工智能开发技能。扫描图中二维码,加机器之心小助手微信邀您入群。