一行命令,瞬间从“马赛克”到高清影像!

2021 年 12 月 6 日 CVer

如上图, 从100x133pix→400x532pix,除了肉眼可见的清晰,拥有可以将分辨率提升400%的技术到底意味着什么?
它意味着:
  • 老照片、老电影、动漫等画质可快速提升,分辨率自由调节
  • 产业算法效果可以随着数据质量的提升大幅提高
  • 在网络信号较差时,也能快速查看高清视频或图片
  • 影像传输带宽与存储空间大幅压缩,传输成本也将大大减少

图片引用自公开数据集[1][2][3]

让世界变得更清晰的不是魔法,而是一项被称为超分辨率提升的技术(简称「超分」),能够将低分辨率的图像、视频,通过特征提取、特征融合、图像重建与上采样(Pix-Shuffle),恢复并补足丢失的信息,最终重建成高分辨率的图像、视频。
超分的实现路径有很多种,而 峰值信噪比PSNR32.53、结构相似度SSIM0.9083的视频超分算法PP-MSVSR,以其 卓越的性能达到业界SOTA
话不多说,  直接看PP-MSVSR在视频超分权威数据集上与其他算法 性能(峰值性噪比、结构相似度)的对比图表:
如图所示,PP-MSVSR提供了 1.45M和7.4M两种 参数量大小的模型,峰值信噪比与结构相似度均高于其他开源算法,同时还保持了参数量较小。也就是说,PP-MSVSR在对分辨率提升效果达到最细腻的情况下,还保持体积小的优势,是真正意义上的 高性能、低成本!并且,PP-MSVSR还不限制 输入视频的分辨率,支持分辨率一次提升400%,将超分自定义做到了极致,给大家无限想象空间~
PP-MSVSR的源码与教程也已经开源至PaddleGAN项目,除了视频超分,PaddleGAN中也提供业界领先的单张图片超分系列算法。

心动不如行动,赶紧 Star⭐收藏上手试试吧~
https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md
下面,让我们详细来看看PP-MSVSR超分算法到底是如何解决实际问题的吧!

1、 将老电影从模糊变清晰,实现影像修复
在文娱领域,如社交、新闻媒体、电商等行业,常常涉及到对于视频的增强与编辑,PP-MSVSR的表现着实可圈可点。

2、 通过提升训练数据的清晰度,提升算法精度

无论是目标检测、图像识别,还是图像分类、语义分割等CV相关任务,训练数据质量的好坏对于最终任务效果影响都极大。因此,开发者可尝试通过PP-MSVSR将任意分辨率下的视频数据提升至理想分辨率,实现下游的检测、识别、分割等任务的准确率有效提升。

图片引用自公开数据集[4][5]

3、 降低视频网络传输成本,在终端使用算法对分辨率进行恢复提升
在这个对清晰度有着极致追求的时代,视频的 存储与传输成本越来越高,比如,传输4K信号,一天的传输成本至少大几千元,要想给成本来个「大降低」,就必须从存储与传输下手。
在视频超分的助力下,视频云端存储空间可 大幅降低,进一步降低视频CDN 传输带宽,同时提高视频传输速度,也就意味着,在 存储的空间、传输的成本大大下降的同时, 视频传输的速度也得到显著提 升!

PP-MSVSR这么有用,他的使用复杂嘛?答案是:完全不! 仅一行命令即可实现分辨率的提升!

图片引用自公开数据集[1]

除了PP-MSVSR详细、完整的实现代码、预训练模型及文档教程外,飞桨生成对抗网络开发套件PaddleGAN还提供了 图像生成、唇形合成、人脸融合等丰富的前沿GAN相关能力与应用,还在等什么,赶紧 Star⭐上手试试吧!
https://github.com/PaddlePaddle/PaddleGAN/blob/develop/README_cn.md

深入直播讲解

为了让开发者们更深入的了解PP-MSVSR,掌握超分辨率提升的理论知识与实践,并手把手带大家实现超分的热门产业应用。
12月8日20:15-21:30,飞桨团队精心准备了一节直播课程, 剖析各类超分产业应用的痛难点并提供最优解决方案, 直播现场为大家答疑解惑,还在等什么!抓紧扫码上车吧!


扫码报名直播课,加入技术交流群!

精彩内容抢先看

图片引用说明

[1] Ce Liu and Deqing Sun.  On bayesian adaptive video superresolution.IEEE transactions on pattern analysis and ma-chine intelligence, 36(2):346–360, 2

[2] 大谷. (2021, February 20). AI还原的李焕英老照片动态影像!每个妈妈都了不起!【大谷纽约实验室】_哔哩哔哩_bilibili. Retrieved December 6, 2021, from https://www.bilibili.com/video/BV1wh411k7YN?spm_id_from=333.999.0.0.

[3] A cat getting petting on the bed. Photo by Cottonbro on unsplash. Beautiful Free Images & Pictures. Retrieved December 5, 2021, from https://www.pexels.com/video/a-cat-getting-petting-on-the-bed-6865077/.

[4] Robben, S. (n.d.). Photo of a man in a brown polo shirt carrying a laptop ... pexels. Retrieved December 6, 2021, from https://www.pexels.com/photo/photo-of-a-man-in-a-brown-polo-shirt-carrying-a-laptop-8278886/.

[5] 《PCB瑕疵检测》数据来源于:北京大学印刷电路板(PCB)瑕疵数据集

登录查看更多
0

相关内容

如何用latext画神经网络?这个PlotNeuralNet能帮到你
专知会员服务
25+阅读 · 2022年1月15日
专知会员服务
39+阅读 · 2021年9月30日
专知会员服务
32+阅读 · 2021年9月29日
流畅的Python 中英文版 PDF 高清电子书
专知会员服务
80+阅读 · 2020年8月2日
【强化学习】深度强化学习初学者指南
专知会员服务
178+阅读 · 2019年12月14日
1.5K star量,上古老番变4K,B站开源超分辨率算法
机器之心
0+阅读 · 2022年2月15日
深度学习之图像超分辨重建技术
机器学习研究会
12+阅读 · 2018年3月24日
一文概览基于深度学习的超分辨率重建架构
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2022年4月20日
Arxiv
0+阅读 · 2022年4月19日
Arxiv
0+阅读 · 2022年4月16日
Arxiv
15+阅读 · 2021年7月14日
Arxiv
11+阅读 · 2018年1月11日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员