AI超清修复张国荣《热·情》演唱会,22年前哥哥面部和舞台极度还原,歌迷泪奔

2022 年 4 月 2 日 量子位
丰色 发自 凹非寺
量子位 | 公众号 QbitAI

AI超清修复了张国荣《热·情》演唱会。

无数粉丝聚集在手机电视屏幕前重温那场经典。

这便是昨晚,在张国荣辞世19周年纪念日所上演的一幕:

可以看到前后对比明显,修复后的张国荣脸部、舞台等细节清晰可见。

作为张国荣生前最后一场,它的反响空前绝后,是无数歌迷心中的经典之作。

在听说腾讯修复了这场演唱会之后,有粉丝激动地表示“高兴地吃不下饭”。

在昨晚的现场直播中,不少歌迷更是直言泪奔:

“感谢AI修复师们的努力,我们好像瞬间回到了22年前的舞台现场,得以再次感受哥哥的绝代风采。”

修复这场演唱会有什么难点?

修复历史影像作品甚至残损影像,对于经验丰富的腾讯多媒体实验室来说挑战并不大。

他们已经参与过《康熙王朝》、《天下人家》等多部经典影视剧的高清修复工作。

而这次的唱片公司宝丽金珍藏的《热·情》演唱会母带和网上流传的视频,画质也是普遍欠佳。

但其中最大的难点还是演唱会视频中的色彩、画面切换太快

如何才能给观众带来融入其中的沉浸感体验,最大限度地还原原视频的清晰度?

来自腾讯的修复师们一共用了四大步:智能分析、画质修复、画质增强和智能编码。

具体来说,首先要利用多种智能评估算法对视频内容进行全方位、多维度分析,评估视频的运动和纹理复杂度、压缩失真程度等。

得到分析结果后,再利用画质修复模块的多种智能算法(腾讯自研),修复各类破坏画质的主要因素,包括但不限于划痕、竖线、雪花点、噪声、压缩失真、抖动等问题。

这其中比如划痕修复就存在诸多难点。一方面划痕修复不可逆且成本高昂;另一方面目前缺少庞大的划痕公开数据库,算法难以调优,建设成本也非常昂贵。

为此,实验室专门设计了针对性的多方向数据增广方案。方案包括划痕的裁切及合并、随机尺寸、随机模糊程度、局部及全局随机亮度调整、随机透明度调整等。

紧接着,画质增强模块便会选择最佳视频增强算法,对画面进行多维度画质提升,在空间和时间上提升视频的分辨率和帧率,在空域上提升细节清晰度、色彩丰富度。

这其中需要驾驭和平衡CNN(卷积神经网络)和GAN(生成对抗网络)两种智能算法。

CNN是经过大量图像数据训练而成的熟练工”,它修复的结果比较真实,但有时细节会不够丰富;而GAN经过自我博弈成长而来,它修复的结果更为丰富细腻,但有时会显得不太真实。

在完成视频修复及画质增强后,智能编码模块可以通过自适应编码在减少输出文件大小、视频传输成本的同时,保证视频的主观质量不受影响,实现最佳的画面效果。

从歌迷们的反响来看,最终呈现的效果可以说是让他们感到非常满意。

不少人还表示:

“可不可以把告别演唱会和98年的那场也修复了?真的好期待。”

关于腾讯AI修复实验室

腾讯多媒体实验室,是腾讯旗下的多媒体通信和处理研发团队,专门研究多媒体数据传输与压缩、智慧融合媒体、互动沉浸式媒体领域的技术与产品化。

实验室的总经理则是刘杉博士,她是腾讯首位女性杰出科学家、IEEE Fellow,也是全球音视频领域的技术带头人。

刘杉博士本科毕业于清华大学电子工程系,硕士和博士毕业于美国南加州大学,研究方向包括音视频、沉浸式和新兴多媒体VR/XR等的压缩、处理、传输、系统和智能化应用。

在刘杉博士的带领下,腾讯多媒体实验室也多次参与国际国内行业标准制定,包含多媒体数据压缩,多媒体传输、系统与5G,以及多媒体AI等。

自2018年参与H.266/VVC标准制定以来,该实验室已有超过500项提案被多个国际标准采纳。

「人工智能」、「智能汽车」微信社群邀你加入!

欢迎关注人工智能、智能汽车的小伙伴们加入我们,与AI从业者交流、切磋,不错过最新行业发展&技术进展。

ps.加好友请务必备注您的姓名-公司-职位哦~


点这里👇关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~


登录查看更多
0

相关内容

专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
13+阅读 · 2021年9月23日
专知会员服务
54+阅读 · 2021年9月3日
专知会员服务
15+阅读 · 2021年5月13日
专知会员服务
38+阅读 · 2021年3月29日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
《代码整洁之道》:5大基本要点
专知会员服务
49+阅读 · 2020年3月3日
是小升级还是大换代?米家显示器挂灯 1S 体验
ZEALER订阅号
0+阅读 · 2021年10月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
2+阅读 · 2022年4月19日
Synthesizing Informative Training Samples with GAN
Arxiv
0+阅读 · 2022年4月15日
Arxiv
19+阅读 · 2021年1月14日
Arxiv
11+阅读 · 2018年3月23日
VIP会员
相关VIP内容
专知会员服务
15+阅读 · 2021年10月4日
专知会员服务
13+阅读 · 2021年9月23日
专知会员服务
54+阅读 · 2021年9月3日
专知会员服务
15+阅读 · 2021年5月13日
专知会员服务
38+阅读 · 2021年3月29日
自回归模型:PixelCNN
专知会员服务
26+阅读 · 2020年3月21日
《代码整洁之道》:5大基本要点
专知会员服务
49+阅读 · 2020年3月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
相关论文
Top
微信扫码咨询专知VIP会员