2小时超1.4亿人观看!AI解锁31年前Beyond演唱会,炸出一代人青春

2022 年 7 月 5 日 新智元



  新智元报道  

编辑:桃子 Joey 好困

【新智元导读】Beyond 1991生命接触演唱会超清修复版来了!回忆开启,你准备好了吗?|北京人,还记得工体么?现在,你也可以拥有一个工体元宇宙主场了!7月6日,「我的元宇宙主场」——工体元宇宙GTVerse发布会开幕,新智元作为媒体合作单位,全程提供直播,快来点击预约!


7月3日,黄家驹超清回归,炸出了一代人的青春。


在Beyond书写音乐的历史上,有两场音乐会最为值得纪念。


一场便是1991年,连续举办5天的「Beyond Live1991生命接触」演唱会。


29岁的黄家驹率领Beyond成员登上红馆,成为一个时代的印记。



恰逢黄家驹诞辰60周年,这场生命演唱会又再次重映了!而且还是AI超清修复后的画面和音质。


网友看后纷纷表示,再次看到了黄家驹眼里的光。


话不多说,静心感受...


91红馆经典再现


先来首《海阔天空》


时至今日,这首歌召唤着多少人的回忆?


原谅我这一生不羁放纵爱自由 也会怕有一天会跌倒 被弃了理想谁人都可以 那会怕有一天只你共我


看过修复后的视频是不是顿时觉得明朗了。


眉间皱纹清晰可见






《光辉岁月》这首经典歌曲也萦绕在我们耳边。


一生要走多远的路程 经过多少年 才能走到终点 梦想需要多久的时间 多少血和泪 才能慢慢实现


看到如此高清画面,背后究竟是用了什么技术?


画质修复


时隔31年,不如先来感受下91红馆现场演唱时的画质。



由于动图的压缩,「年代感」似乎不是十分明显。不过,依稀可以注意到,在闪光灯闪烁的那一瞬间,会出现奇怪的斑纹。


定格之后发现,果然,就是当年的那个味!



说到这些「横纹」,他们出现的主要原因就是,早期视频大多采用「隔行扫描」的方式来处理、编码和显示。


人们通常将画面分为2个场,先扫描奇数行像素,再扫描偶数行像素。


凭借「视觉暂留效应」,在快速播放时,两个场互相补足,让人眼看到完整的画面。



而目前主流的视频,用的是「逐行扫描」。这需要较大的带宽来传输,在早期难以实现。


简单来讲,如果把播放视频的一帧当做用围棋填满棋盘。


隔行扫描就是按照奇数、偶数行分别一行一行放棋子。逐行扫描那便是一行一行地铺棋子了。


当前的问题是,如果把原先的是视频拿来在新式设备上播放,就会产生闪烁和条纹。


因此,为了解决这一问题,就得使用多帧输入的神经网络去交错算法。

也就是,将隔行扫描讯号转换为逐行扫描讯号。


如下修复的画面中,就可以完全清晰看到手指戴的那枚戒指,还有根根分明的琴弦。



与传统的固定去交错算法相比,该算法不仅在视频细节恢复得更好,而且运动场景的拉丝情况也能得到更好的解决。


除了清晰度,旧视频中还存在颜色褪色、异常、过亮过暗等问题。


这里,针对具体片源效果,依据美学评分,在色彩,亮度,对比度,饱和度,人像ROI和背景区域分别增强。


并且根据不同帧的色彩统计信息进行自适应亮度增强,使亮区与暗区都能得到最好的表现效果。



另外,还有人像的修复也至关重要。


在91年演唱会中,很多片段中人脸存在较大的彩色噪声,压缩损伤,模糊等问题。


这里就用到了自适应人像增强算法。


基于深度学习模型,对演唱会因噪声和压缩导致过于模糊的低质量人脸,进行高清五官重建。


此外,对眼睛,嘴巴,耳朵,皮肤甚至发丝都进行了细节重建和纹理添加,使得人脸清晰度更高更真实。



值得一提的是,演唱会场景中多角度的人脸,比如正脸、侧脸、俯视、仰视,还有一些被乐器/话筒遮挡的人脸,该算法都表现出较好的修复效果。



音质修复


还记得小时候,用卡带和CD机听着Beyond的光辉岁月,黄家驹的声音一响起便能勾起无数人的回忆。


时间已过去31年,当年收音机里略带磁音、偶尔卡顿的音乐放在现代确实有点差强人意。


不慌!这次除了对演唱会当年画面的修复,同时也对音频品质进行了优化。


由于早期的音频制作技术受限,加之年代久远,演唱会的录制音频存在「噪声干扰、带宽不足、混响、响度」等问题,很难为听众带来演唱会现场的音质体验。


通过AI修复算法,我们或许能解决这些问题。

这次演唱会的音质修复算法可分为三大模块,分别是降噪算法、音频超分算法和响度算法。


当时演唱会的收音设备离现代还差的很远,录音的时候就会携带很明显的杂音感。


再加上演唱会环境嘈杂,片子里就出现了许多噪声。


传统的降噪方案主要针对音频中的人声,而背景音乐在经过降噪算法处理后,会被不小心「误伤」。


幸运的是,通过利用降噪算法技术,既可以实现人声与背景音乐的兼容,同时还能抑制噪声。


这里我们以一部分「Beyond Live 1991 生命接触演唱会」为例,以下为降噪前后对比的音频频谱图:




可以看到,修复后的波段明显清晰了不少,无声段的红色噪音部分被剔除,此外音乐段的噪点明显减少,尤其是在10KHz-15KHz的高频段部分。


去除噪音之后,接下来就是对音频进行超分。


由于早期演唱会的收音设备、录制硬件或存储压缩条件有限,导致高频区域的声音信息丢失,从而影响音质。


而本次的技术团队将人声部分进行频带扩展,恢复了部分高频信息,提升了音质。这就是「超分」。



经过超分处理后,原始音频的高频部分得到了部分扩展和增强,听起来声音更加清晰明亮。


聊完降噪、超分,还有响度模块。


由于演唱会的收音情况不同,可能导致演唱会人声的部分相对乐器声和环境音过小。


响度算法模块的任务就是单独提取出唱歌的部分进行调整,然后再和其他声音混合,使整体听感更加舒适。



来看看修复后的频谱图,可以看到处理后蓝框中的人声部分频谱图更加高亮了。


时过境迁,虽然Beyond的时代已经过去,但透过修复后的视频,我们也能感受到黄家驹声音里澎湃的激情,重拾当年的感动。


花絮


画质修复技术团队都是90年后出生的。


像Beyond的《海阔天空》、《光辉岁月》、《真的爱你》这些歌,他们是从小听到大。


看过这段演唱会的修复视频,是不是又激起你童年的回忆?


参考资料:

https://m.weibo.cn/1642634100/4787617240190906
https://www.zhihu.com/question/541376940



登录查看更多
0

相关内容

【NUS博士论文】学习视觉场景的结构化表示,137页pdf
专知会员服务
36+阅读 · 2022年7月15日
【AAAI2022-西电】时空辅助网络的转码视频恢复
专知会员服务
10+阅读 · 2021年12月25日
【博士论文】吉布斯分布的局部、动态与快速采样算法
专知会员服务
28+阅读 · 2021年11月26日
专知会员服务
29+阅读 · 2021年10月4日
字节跳动今斩获最佳论文,ACL 2021各大奖项揭晓
专知会员服务
48+阅读 · 2021年7月7日
专知会员服务
14+阅读 · 2021年3月26日
【经典书】统计学,806页pdf,解锁数据的力量
专知会员服务
78+阅读 · 2020年8月12日
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
126+阅读 · 2020年7月10日
【中科大徐童】多模态语义理解与关联
专知会员服务
82+阅读 · 2019年12月7日
不要让一只鸭子留在肯德基!
人人都是产品经理
0+阅读 · 2022年5月29日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年9月6日
Arxiv
0+阅读 · 2022年9月2日
Arxiv
12+阅读 · 2022年4月12日
VIP会员
相关VIP内容
【NUS博士论文】学习视觉场景的结构化表示,137页pdf
专知会员服务
36+阅读 · 2022年7月15日
【AAAI2022-西电】时空辅助网络的转码视频恢复
专知会员服务
10+阅读 · 2021年12月25日
【博士论文】吉布斯分布的局部、动态与快速采样算法
专知会员服务
28+阅读 · 2021年11月26日
专知会员服务
29+阅读 · 2021年10月4日
字节跳动今斩获最佳论文,ACL 2021各大奖项揭晓
专知会员服务
48+阅读 · 2021年7月7日
专知会员服务
14+阅读 · 2021年3月26日
【经典书】统计学,806页pdf,解锁数据的力量
专知会员服务
78+阅读 · 2020年8月12日
Yoshua Bengio最新《深度学习》MLSS2020教程,附104页PPT及视频
专知会员服务
126+阅读 · 2020年7月10日
【中科大徐童】多模态语义理解与关联
专知会员服务
82+阅读 · 2019年12月7日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员