1.5K star量，上古老番变4K，B站开源超分辨率算法

↑ 点击 蓝字  关注极市平台

来源丨机器之心

编辑丨极市平台

极市导读

 

B 站 AI 实验室的最新成果。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

喜欢看动漫的人经常会被一些经典作品的情节所吸引，不过画面质量是欣赏下去的大敌 —— 那些超过十年历史的内容自不必说，直到现在，很多动画的实际分辨率也只是 720p 左右，然后被拉伸到 1080i 以满足电视台播放的需求，BD（蓝光）清晰度也只有 1080p。

究其原因，还是成本问题：在动画制作过程中，让分辨率提升一个级别，就会导致所有的制作资源大幅提升，从作画、扫描到处理和存储，整个产业链条都需要软硬件的提升。

但今天即使是手机也有个 2K 的分辨率，既然手绘动画难以提升分辨率，那么能不能用 AI 算法来解决这个问题？

最近，GitHub 上一个图像超分辨率的项目火了，一个叫做 Real-CUGAN 的工具可以把动画图像的质量提升 2 到 4 倍，qq 上斗图的表情包也能给你脑补成 4k 品质。

仔细一看，这个项目来自 bilibili 人工智能实验室。上线 20 天，star 量已达 1.5K。

项目链接：https://github.com/bilibili/ailab/tree/main/Real-CUGAN

据作者介绍，Real-CUGAN 是一个使用百万级动漫数据进行训练的，结构与 Waifu2x 兼容的通用动漫图像超分辨率模型。相比目前市面上已有的通用化超分辨率算法，Real-CUGAN 的 AI 模型经过了更大体量数据集的训练，处理二次元内容的效果更佳。

它支持 2x\3x\4x 倍超分辨率，其中 2 倍模型支持 4 种降噪强度与保守修复，3 倍 / 4 倍模型支持 2 种降噪强度与保守修复。

Real-CUGAN 全称为 Real Cascaded-U-Net-style Generative Adversarial Networks（真实的、级联 U-Net 风格的生成对抗网络），使用了与 Waifu2x 相同的动漫网络结构，但因为使用了新的训练数据与训练方法，从而形成了不同的参数。

具体来说，该动漫超分模型训练先行对动漫帧进行切块处理，使用图像质量打分模型对候选块进行打分过滤，得到一个百万级的高质量动漫图像块训练集。然后使用多阶段降质算法，将高清图像块降采样得到低质图像，让 AI 模型学习、优化从低质图像到高质图像的重建过程，训练完毕后即可对真实的二次元低质图像进行高清化处理。

在 GitHub 项目中，作者开源了推理阶段的模型参数与推理代码。

下面，我们来看一下 Real-CUGAN 的修复效果。

图源：https://github.com/bilibili/ailab/tree/main/Real-CUGAN

为了进一步查看几种修复方法的差距，研究团队将 Real-CUGAN 的修复效果和 Waifu2x、RealESRGAN 进行比较。

下图是动漫《侦探已死》中的画面，其中几种方法对沙发纹理的修复差距显著。可以看到，在 Real-CUGAN 的修复结果中，沙发上的横向条纹清晰可见，并且几乎没有中断的部分：

在动漫中，人物清晰的线条对角色形象的塑造具有重要的作用。线条模糊会严重影响观看体验。以下图为例，Real-CUGAN 清晰地修复了动漫中角色的表情线条：

当然，有些场景并非越清晰越好，比如画面中的一些远景，原本就是刻意虚化的。以下图为例，Real-CUGAN 修复之后，近景处的人物形象变得更清晰，远处的蜡烛仍然保持模糊，使得画面更有层次感。

还有一些动漫由于年代久远，受当时技术条件的限制，画质着实「感人」。例如许多人的童年回忆《黑猫警长》，先前的模型 RealESRGAN（下图第三列）已获得了不错的修复效果。相比之下 Real-CUGAN（下图第四列）更好地修复了一些杂线、模糊的问题，让画面更加干净清晰。

更为重要的是这项技术想要用很简单：你下载的模型已训练好，修改 config.py 配置参数，双击 go.bat 运行即可。Real-CUGAN 不仅可用 cuda 加速，也支持 AMD 系列的显卡，处理速度还很快，笔记本电脑也可以跑得起来。

虽然 Real-CUGAN 默认是只处理静态图片的，但很多人已尝试把视频拆解成单帧序列进行处理。如此一来，很多上古老番都能自己上手让它们焕然一新了。

目前 B 站上已经有人上传了一些使用新技术处理过的视频，比如这个在 1080p BD 基础上超分到 4K 的：

在很多电影修复之后，老番高清计划也已在路上。B 站表示，将针对不同品类适配不同的超分算法，并且使用窄带高清算法降低卡顿，提高流畅度。

参考内容：

https://www.bilibili.com/read/cv15031073

公众号后台回复“数据集”获取30+深度学习数据集下载～

极市干货

数据集资源汇总： 10个开源工业检测数据集汇总 ｜ 21个深度学习开源数据集分类汇总

算法trick ： 目标检测比赛中的tricks集锦 ｜ 从39个kaggle竞赛中总结出来的图像分割的Tips和Tricks

技术综述： 一文弄懂各种loss function ｜ 工业图像异常检测最新研究总结（2019-2020）

# CV技术社群邀请函 #

△长按添加极市小助手

添加极市小助手微信（ID : cvmart4）

备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）

即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群

每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

觉得有用麻烦给个在看啦~