普通视频转高清：10个基于深度学习的超分辨率神经网络

2018 年 7 月 17 日 极市平台

↑ 点击蓝字关注极市平台识别先机创造未来

作者简介：吴晓然，声网高级视频工程师，专注于视频编解码及相关技术研究，个人技术兴趣包括多媒体架构、深度学习。

在 AlphaGo 对弈李世石、柯洁之后，更多行业开始尝试通过机器学习优化现有技术方案。其实对于实时音视频来讲，对机器学习的研究已有多年，实时图像识别只是其中一种应用。我们还可以利用深度学习来做超分辨率。我们这次就分享一下用于超分辨率的深度学习基本框架，以及衍生出的各种网络模型，其中有些网络在满足实时性方面也有不错的表现。

▌机器学习与深度学习

对于接触机器学习与深度学习较少的开发者，可能会搞不清两者的差别，甚至认为机器学习就是深度学习。其实，我们用一张图可以简单区分这个概念。

上世纪50年代，就有人工智能的概念，后来也有一些较基础的应用，比如国际象棋。但到了70年代，由于硬件性能的制约，以及训练数据集的匮乏，使得人工智能经历了一段低谷。人工智能包括了很多，比如机器学习、调度算法、专家系统等。到了80年代才开始出现更多机器学习的应用，比如利用算法来分析数据，并进行判断或预测。机器学习包括了逻辑树、神经网络等。而深度学习，则是机器学习中的一种方法，源于神经网络。

▌超分辨率是什么？

超分辨率是基于人类视觉系统提出的概念。1981年诺贝尔医学奖获奖者David Hubel、Torsten Wiesel，发现人类视觉系统的信息处理方式是分层级的。第一层是原始的数据输入。当人看到一个人脸图像时，首先会先识别出其中的点、线等边缘。然后进入第二层，会识别出图像中一些基本的组成元素，比如眼睛、耳朵、鼻子。最后，会生成一个对象模型，也就是一张张完整的脸。

而我们在深度学习中的卷积神经网络（如下图为例），就是模仿了人类视觉系统的处理过程。正因此，计算机视觉是深度学习最佳的应用领域之一。超分辨就是计算机视觉中的一个经典应用。

超分辨率是通过软件或硬件方法，提高图像分辨率的一种方法。它的核心思想，就是用时间带宽换取空间分辨率。简单来讲，就是在我无法得到一张超高分辨率的图像时，我可以多拍几张图像，然后将这一系列低分辨率的图像组成一张高分辨的图像。这个过程叫超分辨率重建。

为什么超分辨率可以通过多拍几张图像，就能提高图片分辨率呢？

这牵涉到抖动。我们经常说的拍照防抖动，其实防的是较明显的抖动，但微小的抖动始终存在。在拍摄同一场景的每张图像之间，都有细微差别，这些微小的抖动其实都包含了这个场景的额外信息，如果将他们合并，就会得到一张更为清晰的图像。

有人可能会问，我们手机都能前后置两千万，为什么需要超分辨率技术呢？这种技术应用场景是不是不多？

其实不是。了解摄影的人都知道。在相同的感光元器件上，拍摄的图像分辨率越高，在感光元器件上，单个像素占的面积越小，那会导致通光率越低，当你的像素密度到达一定程度后，会带来大量噪声，直接影响图像质量。超分辨率就可以解决这种问题。超分辨率有很多应用，比如：

数字高清，通过这种方法来提高分辨率
显微成像：合成一系列显微镜下的低分辨率图像来得到高分辨率图像
卫星图像：用于遥感卫星成像，提升图像精度
视频复原：可以通过该技术复原视频，例如老电影

但是，有很多情况下，我们只有一张图像，无法拍摄多张，那么如何做超分辨率呢？这就需要用到机器学习了。比较典型的例子，就是在2017年Google 提出的一项“黑科技”。他们可以通过机器学习来消除视频图像中的马赛克。当然，这项黑科技也有一定限制，以下图为例，它训练的神经网络是针对人脸图像的，那么如果你给的马赛克图像不是人脸，就无法还原。

▌超分辨率神经网络原理

超分辨率神经网络（Super-Resolution CNN，SRCNN）是深度学习应用在超分辨率领域的首个模型。原理比较简单。它有三层神经网络，包括：

特征提取：低分辨率图像经过二项式差值得到模糊图像，从中提取图像特征，Channel 为3，卷积核大小为 f1*f1，卷积核个数为 n1；
非线性映射：将低分辨率图片特征映射到高分辨率，卷积核大小1*1；

图像重构：恢复细节，得到清晰的高分辨率图像，卷积核为f3*f3；

参数调节是神经网络中比较玄的部分，也是最为人诟病的部分。很多人认为参数调节很像老中医看病，通常缺少理论依据。在这里列出了几个在 n1 取不同值的时候，所用的训练时间和峰值信噪比（PSNR，用于判断图片质量的参数，越高越好）。

在训练中，使用均方误差(Mean Squared Error, MSE)作为损失函数，有利于获得较高的PSNR。

训练结果如何呢？在下表中，列出了几个传统方法与 SRCNN 方法的结果对比。最左一列是图片集，右侧分别列出了每个方法的所用训练时间和图片峰值信噪比。可以看出，尽管有些图片，传统方法得出的结果更优于深度学习，但是总体来讲，深度学习稍胜一筹，甚至所需时间更短。

有人说一图胜千言。那么实际图片效果如何呢？我们可以看下面两组图片。每组第一张是小分辨率的原图，后面通过不同的方法来实现高分辨率的大图。相比传统方法，SRCNN 的图片边缘更加清晰，细节恢复的更好一些。以上就是最初的超分辨率的深度学习模型。

▌9个超分辨率神经网络模型

SRCNN 是第一个超分辨率的神经网络模型。在 SRCNN 这个模型出现后，更多应用于超分辨率的神经网络模型。我们以下分享几个：

FSRCNN

相对 SRCNN，这个方法不需要对原始图片使用二项式差值，可以直接对小分辨率图像进行处理。在提取特征值之后，缩小图片，然后经过 mapping、expending、反卷积层，然后得到高分辨率图片。它好处是，缩小图片可以降低训练的时间。同时，如果你需要得到不同分辨率的图片，单独训练反卷积层即可，更省时。