NeurIPS 2020 | IGNN图卷积超分网络: 挖掘隐藏在低分辨率图像中的高清纹理

会员服务 ·

NeurIPS 2020 | IGNN图卷积超分网络: 挖掘隐藏在低分辨率图像中的高清纹理

2020 年 11 月 30 日 将门创投

作者：南洋理工大学MMLab一年级博士生周尚辰

NeurIPS 2020 文章专题

第·7·期

在NeurIPS 2020中，南洋理工大学、商汤和哈工大研究员联合提出了跨尺度的 图卷积超分网络IGNN 。近些年来，Non-local方法利用同尺度的自相似性先验在图像复原任务中取得了一些突破，如图片去噪。但对于图像超分辨任务，相同低分辨率 (LR) 的相似图像块融合无法让网络直接感知更高分辨率 (HR) 的图像纹理。

针对上述问题，本文利用图像内部纹理跨尺度多次复现的特性找到与LR图像块对应的k个HR图像块，并动态地构建了LR-HR块的连接图。基于该连接图， IGNN利用图卷积自适应地融合k个HR图像块，从而使图像内部高清纹理信息在超分中得到充分利用。IGNN在五个公开数据集上的性能表现均有显著提升。

「NeurIPS 2020群星闪耀云际会·机构专场」火热报名中，点击【这里】马上报名~

论文链接：

https://arxiv.org/pdf/2006.16673.pdf

代码链接：

https://github.com/sczhou/IGNN

一、Non-local方法

在图片超分辨中存在的问题

自然图像中的Non-local自相似性是一种非常有效的先验信息，在图像复原问题中一直广受关注，比如Non-local means、BM3D等图像去噪方法。该类方法的基本思想是利用非局部的多个相似块信息融合达到更好的复原效果。近几年，随着深度神经卷积网络 (CNN) 在图像复原领域的发展，多种变型的Non-local模块被设计出来，并被嵌入到复原网络框架中，如下图中的Non-local模块 (a) 和神经KNN模块 (b) 。

在引入Non-local模块之前，由于卷积操作的局部性，CNN网络对图像的感知范围受限于其感受野的大小，很难感知到非局部的图像相似性。另外，CNN网络往往通过大量外部数据训练获得图像复原的能力，忽略了对当前图像内部纹理信息的挖掘和利用，因此对特定图片中unseen的纹理复原效果较差。Non-local模块的引入在一定程度上解决了以上两个问题，通过感知非局部图片自相似性，对图片内部相似纹理进行自我加权 (self-attention) ，从而进一步提升复原网络的性能。

但是，当前Non-local的网络模块仅探索了同尺度的相似图像块，对于图像超分辨问题，无法提供跨尺度的高清纹理信息，因此仍需对其做进一步改进。图像超分辨的目的是将低分辨率 (LR) 图像映射到高分辨率 (HR) 图像，同尺度相似块的融合很难让网络获取到高清的纹理信息，因此作者直观地想到了下图中展示的解决方案，即设计一个新的Non-local模块，使其能够跨尺度地融合高清相似块。

该方案存在两个关键问题：

怎么准确地找到这些对应的高清块？
怎么合理地融合这些高清块？

本文将为大家解答这两个问题。

二、方法介绍

针对以上两个问题，作者结合图卷积提出了一个新颖的跨尺度Non-local聚合模块，如下图所示。这一部分，首先将介绍自然图像中“图像块跨尺度复现” (cross-scale patch recurrence) 的性质，然后介绍图卷积聚合模块如何找到并融合多个高清块，最后将介绍跨尺度图卷积超分网络的网络结构和实现细节。

1. 图像块跨尺度复现

根据上述分析，跨尺度聚合模块设计成功的前提是自然图像中内部确实存在多个高清块。早在2011年，Irani等研究员就已经发现“图像块跨尺度复现”的性质，即在一张自然图像中，不同尺度的相似图像块会大量重复出现。

如下图 (a) 所示，不同尺度的窗子会同时出现在一个图片里，因此大尺度窗子可以帮助小尺度窗子进行超分复原。可能有人会问，这个例子会不会太特殊了？实际拍摄图像中往往不会存在这么多重复的图像块。此处的举例只是为了便于大家理解，真实算法中考虑的图像块非常小，往往只是很小的重复纹理repetitive texture、边edge或角corner，所以图像块跨尺度复现”的性质对于任何一般图片都是成立的，感兴趣的同学可以查看这篇论文[Zontak and Irani, Internal statistics of a single natural image, CVPR'11]。

2. 图卷积聚合

依据上述特性，作者提出了非局部图卷积聚合模块 (GraphAgg)，巧妙地为每个低清 (LR) 图像块找到k个高清 (HR) 图像块近邻，并构建出LR-HR的连接图，进而将k个HR的纹理信息聚合到LR上，帮助图像超分复原。上图 (b)、(c) 给出了GraphAgg模块的示意图。

搜索k个高清块：和同尺度k近邻搜索不同，跨尺度近邻搜索没法直接在原图上进行图像块匹配。为了找到K个HR块，作者首先将原图像下采样s倍，对于原图中每个LR查询块 (蓝色) ，从下采样的图像中通过块匹配搜索出k个LR近邻块 (灰色) 。然后通过尺度映射将k个LR近邻区域映射到原来图片的尺度，由此得到k个HR近邻块。作者用图 (Graph) 建模了LR和HR的跨尺度关联，将每个图像块看成一个顶点，每条边代表LR和HR块直接的相似性。如此一来，一个LR-HR的连接图就建立起来了。

高清块聚合：基于构建的LR-HR连接图，作者提出了一种自适应的高清块聚合方法，即根据LR和HR块的相似性定义该条边的聚合权值。其公式如下：

其中表示第r个近邻HR块，代表可学习的自适应加权网络，该加权网络有效地抑制了低相似度图片块的影响。

自适应图像块归一化 (AdaPN) ：作者观察到，通过GraphAgg模块得到的近邻HR图像块和查询LR图像块在特征低频信号上会存在不一致，如颜色、亮度等。因此，除了上述自适应加权外，作者受AdaIN的启发，提出了针对图片块的自适应归一化操作 (AdaPN)，实现近邻HR块和查询LR块的低频信号对齐。AdaPN可表示为：

通过AdaPN归一化，可以使近邻HR图像块的低频信息迁移对齐，但同时保持其高频纹理信息不变。

3. 跨尺度图卷积超分网络

基于以上提出的图卷积聚合模块GraphAgg，作者提出了跨尺度图卷积超分网络IGNN，如下图所示。该网络以EDSR为主干网络，将GraphAgg模块插入到EDSR的中间位置以进行跨尺度高清块聚合，聚合得到的高清特征通过跨尺度的Skip连接可以直接传递到后面高尺度网络层，使得网络可以直接感知到隐藏在图片特征内部的高清纹理。具体的实现细节请查看原文和补充材料。

三、实验结果

为了验证跨尺度图卷积网络IGNN的有效性，作者在5个标准数据集下进行了一系列的对比分析，下表图分别给出了IGNN与其他SOTA网络模型的指标对比和视觉对比。IGNN几乎在所有数据集所有尺度下均取得了最佳性能。更多实验结果与分析请查看原文和补充材料。

为了更直观地验证图卷积聚合的有效性，作者提出了一个非网络版本的图卷积聚集操作GraphAgg*。作为一个不依赖学习的图像处理过程，GraphAgg*超分产生的细节纹理要优于经典的Bicubic上采样操作，如下图所示。但是GraphAgg*通过简单的相似性加权进行高清块聚合往往会产生一些伪影，而IGNN网络中GraphAgg模块可以很好地抑制假性伪影的影响，并充分地将高清纹理特征引入到图像超分网络，提升复原效果。

作者进一步对图像特征进行了可视化。如下图所示，通过红框区域的对比，可以看出经过GraphAgg模块处理后，特征纹理变得更加清晰丰富。通过黄框区域的对比，可以看出使用AdaPN归一化后，高清特征图和低清特征图在低频颜色上的表现趋于一致。

最后，附上作者在补充材料中给出的部分效果图。

四、结语

本文首次将跨尺度图聚合模块引入图像超分领域，巧妙地挖掘出超分任务所需要的高清纹理信息。从本质上来讲，本文利用图卷积将现有的Non-local模型转换为类似Transformer的Key-Value模型，Key为降采样图片中的LR图像块，Value为其对应的HR图像块。同时，该方法通过对LR-HR exemplars的挖掘，可以在一定程度上缓解超分任务中ill-posed的问题。这种对潜在的LR-HR exemplars挖掘或也可应用在后续对Bind-SR和Real-SR的相关研究中，大家如有兴趣可做进一步尝试。

作者介绍：

周尚辰，南洋理工大学MMLab一年级博士生，当前主要研究兴趣为面向真实场景的图像/视频复原问题和计算摄影，主要包括图像超分辨、图像去模糊和图像退化过程。已在NeurIPS/CVPR/ICCV/ECCV等计算机视觉顶级会议上发表多篇论文。

更多信息请访问个人主页：

http://shangchenzhou.com

点击标题阅读往期精彩👇

NeurlPS 2020 论文解读 ●●

// 1

｜伯克利新工作: 基于动态关系推理的多智能体轨迹预测问题