ICCV 2021 | 北大&鹏城实验室提出基于动态图神经网络的图像修复方法，性能炸裂！

↑ 点击 蓝字  关注极市平台

作者丨艺术家

编辑丨极市平台

极市导读

 

多数现有的non-local方法为每个query分配固定数量的非局部连接，忽略了非局部关联的动态性。此外，非局部相关性通常是基于像素的，但容易因图像退化而产生偏差。为了克服这些缺陷，本文提出了一种动态的图注意力模型，该模型在图像去噪、图像去马赛克、和图像去块效应等图像重建任务中取得目前最优的性能。 >>加入极市CV技术交流群，走在计算机视觉的最前沿

论文链接：https://openaccess.thecvf.com/content/ICCV2021/papers/Mou_Dynamic_Attentive_Graph_Learning_for_Image_Restoration_ICCV_2021_paper.pdf

Github地址：https://github.com/jianzhangcs/DAGL

1.摘要

自然图像的非局部自相似性已被证明是图像恢复的有效先验。然而，大多数现有的non-local方法为每个query分配固定数量的非局部连接，忽略了非局部关联的动态性。此外，非局部相关性通常是基于像素的，但容易因图像退化而产生偏差。为了克服这些缺陷，这篇文章提出了一种动态的图注意力模型(DAGL)，研究图像恢复过程中块级别的动态非局部相似性。具体地说，文章中提出了一种动态的图模型，可以以执行patch-wise的图卷积，每个节点具有动态的和自适应的邻节点数量。这样，局部图像内容可以通过其连接的邻节点自适应地调节重建过程。基于块的非局部连接也可以强化消息传递的过程。文章中提出的模型在图像去噪、图像去马赛克、和图像去块效应等图像重建任务中取得目前最优的性能。

2.方法

文章提出一种交替级联的图像重建网络，由多个特征提取模块和基于动态图的多头信息聚合模块组成，结构如下图所示：

其中，特征提取模块由多个RB串联组成，基于动态图的信息聚合模块的结构如下图所示：

提出的方法以特征块为基本单元计算两两之间的相似度，通过一个动态自适应的阈值过滤掉低相似度的非局部链接，生成一个动态Graph。为了保证可学习，阈值的计算方式和阶段过程如下，巧妙的运用了ReLU来截断低相似度非局部连接。

文章还通过可视化来验证方法的动态性和自适应性。如下图所示，可以看到局部图像内容根据自身的重建需要，自适应的建立了非局部连接。例如，平滑区域因其重复性较高，建立了较多数量的非局部连接，纹理细节区域因其重复性较低，建立了数量较少的非局部连接。

（1）Graph的构建过程：

（2）不同位置邻节点的数量：

3.性能 （1）图像去噪（仿真/真实噪声）

（2）图像去块效应

（3）去马赛克

如果觉得有用，就请分享到朋友圈吧！

△点击卡片关注极市平台，获取 最新CV干货

公众号后台回复“CVPR21检测”获取CVPR2021目标检测论文下载～

# CV技术社群邀请函 #

△长按添加极市小助手

添加极市小助手微信（ID : cvmart4）

备注：姓名-学校/公司-研究方向-城市（如：小极-北大-目标检测-深圳）

即可申请加入极市目标检测/图像分割/工业检测/人脸/医学影像/3D/SLAM/自动驾驶/超分辨率/姿态估计/ReID/GAN/图像增强/OCR/视频理解等技术交流群

每月大咖直播分享、真实项目需求对接、求职内推、算法竞赛、干货资讯汇总、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企视觉开发者互动交流~

觉得有用麻烦给个在看啦~