【ACMMM2020-中山大学】一种利用了小波变换的轻且快的超分辨率方法

会员服务 ·

【ACMMM2020-中山大学】一种利用了小波变换的轻且快的超分辨率方法

2020 年 10 月 28 日 专知

ACMMM2020 | 一种利用了小波变换的轻且快的超分辨率方法

作者：张欢荣、金枝（通信）、谭晓军、李熙莹

中山大学智能工程学院

撰文：张欢荣

论文地址：https://dl.acm.org/doi/10.1145/3394171.3413664

代码地址：https://github.com/FVL2020/WSR https://github.com/supercaoO/WSR

随着深度学习的发展，单图像超分辨率（SISR）领域也接连取得新的突破。然而，新的重建性能突破大多是建立在更深更宽的网络结构上的，巨大的参数量也就限制了这些超分辨率算法在一些资源受约束设备上的应用。那么，为了解决这个问题，一些较前沿的方法会采取递归/循环神经网络的方式来达成约束参数量的目的。这又带来了新的问题，如果循环次数过多，可能会带来较长的网络推理总时长，另外，即便循环次数较少，但单次循环所耗费时间较多，仍会带来较长的推理时长。所以，论文作者提出在设计循环神经网络结构时，除了关注其参数量是否能被大幅减少外，还应密切关注其推理总时长是否合理。基于此，论文作者提出了一种利用了小波变换的轻且快的超分辨率方法（WSR）。

方法介绍

基本思想作者希望通过一个神经网络来从低分辨率图像预测目标高分辨率图像的二级分解小波系数，即下图中到的过程，接着再对所预测的小波系数执行小波逆变换，从而重建出最终的超分辨率结果图，即下图中到的过程。由下图可知，在所需要预测的小波系数中，有4个子系数的分辨率与输入的低分辨率图像相同，而有3个子系数的分辨率为输入低分辨率图像的2倍。这与直接从低分辨率图像预测目标高分辨率图像需要执行4倍功能的上采样层相比，该神经网络最多只需要执行2倍功能的上采样层，间接地降低了任务难度。

图 1 基本思想

整体框架作者所提出的框架采用了循环神经网络的方式，该结构特点在于每次循环所输出的特征图将用于不同分解级别的小波系数预测，具体如下图所示。

图 2 基于循环神经网络的WSR框架（其中两个RB共享参数）

S-IMDB 作者在循环块（RB）中所使用的S-IMDB结构源自于另一篇论文（Lightweight Image Super-Resolution with Information Multi-distillation Network），并对其中使用到的卷积层进行了修改，具体如下图所示。

图 3 所提出的S-IMDB的结构图

其中，swconv-L/R/U/D代表卷积核形状为矩形而非方形的卷积层，各卷积核形状及其核中心具体可见下图。

图 4 各种卷积核形状及其中心

损失函数作者在空间域和小波域均施加了损失函数。其中，空间域上的损失函数为所输出的超分辨率图像与目标真值图像的平均绝对误差（MAE），而小波域上的损失函数为所预测的各小波子系数与其对应的目标真值小波系数的MAE。计算公式如下，其中表示目标真值图像，表示二级二维离散小波变换函数，而为调整不同小波子系数重要度的系数。

实验结果

客观结果作者在网络参数量、CPU推理时长、GPU推理时长和在5个标准SR数据集上测得的PSNR/SSIM等客观指标上，与历年的超分辨率方法进行了比较，体现了其在重量、速度和重建性能上的优势，结果如下表所示。

视觉结果作者也与一些权威的超分辨率方法进行了视觉效果的比对，结果如下图所示。

图 5 视觉对比图

可视化分析作者还对历年来的超分辨率方法特性趋势进行了可视化的分析，如下图所示。

图 6 不同SR方法在网络参数量、推理时间和重建性能上的关系。颜色表示这些4倍SR方法在B100数据集上所取得的PSNR

更多结果如下图所示。

此处插入sample.gif

图 7 红线左方为经过WSR处理的区域图像，红线右方为原始低质量图像

总结

该论文提出了一种轻且快的超分辨率网络（WSR），它可以学习预测目标图像的小波系数，并将预测到的系数通过小波反变换重建为最终结果。具体来说，WSR采用了循环学习和S-IMDB来显著减少其网络参数量和推理时长。另外，作者在小波域和空间域施加了损失函数来对训练进行约束。综合实验探究了小波预测分支和S-IMDB的有效性。结果表明，WSR很好地平衡了网络参数量、推理时间和重建性能。