算法集锦 | 深度学习+超分辨率重建

点击中国图象图形学报→主页右上角菜单栏→设为星标

图像超分辨率重建问题是计算机视觉领域的一个经典问题。它是指通过输入一幅或多幅低分辨率图像，重建出细节丰富的高分辨率图像，求解过程包含了复杂的特征提取和变换。

深度学习可以从大数据中学习复杂的特征提取变换，非常适合图像超分辨率重建任务。陆续出现的各种深度学习网络模型（如SRCNN、FSRCNN、ESPCN、VDSR、DRCN等）均在图像超分辨率重建方面取得了很好的效果。

图图今天推荐9篇《中国图象图形学报》发表在2018-2019年论文，看深度学习方法如何用于超分辨率重建？效果怎样？

关注我们

一起努力

1

题目：联合多任务学习的人脸超分辨率重建

作者：王欢, 吴成东, 迟剑宁, 于晓升, 胡倩

来源：中国图象图形学报, 2020年第2期

全文链接：

http://www.cjig.cn/html/jig/2020/2/20200202.htm

同行评议：

论文利用人脸特征点检测，性别分类，面部表情识别等辅助任务，对人脸超分辨率算法的性能进行优化。采用感知损失函数来代替求逐像素差距的损失函数，在恢复人脸边缘纹理特征的同时，提高了人脸感知语义信息的重建效果，并在视觉感知效果上较为真实。实验结果表明，提出的算法可以较好地利用人脸先验知识，产生在视觉感知上较为真实和清晰的人脸边缘和纹理细节。

论文算法与FSRNet的超分辨率重建效果对比

2

题目：多阶段融合网络的图像超分辨率重建

作者：沈明玉,俞鹏飞,汪荣贵,杨娟,薛丽霞

来源：中国图象图形学报, 2019年第8期

全文链接：

http://www.cjig.cn/html/jig/2019/8/20190805.htm

同行评议：

多阶段融合网络是论文的创新点。首先提取特征输入两个子网络。其一通过编码网络得到低分辨率图像的结构特征信息；其二是通过阶段特征融合单元组成的多路径前馈网络得到高层特征，其中融合单元将网络连续几层的特征进行融合处理并以自适应的方式获得有效特征，然后利用多路径连接的方式连接不同的特征融合单元以增强融合单元之间的联系。最后将两个子网络得到的特征进行融合后，利用残差学习完成高分辨图像的重建。结果在四个基准测试集上进行了实验，其中放大规模为4时，峰值信噪比比其他方法的结果具有提升。

多阶段融合的卷积神经网络结构

3

题目：RGB-D结构相似性度量下的多边自适应深度图像超分辨率重建

作者：李青松,张旭东,张骏,高欣健,高隽

来源：中国图象图形学报, 2019年第7期

全文链接：

http://www.cjig.cn/html/jig/2019/7/20190715.htm

同行评议：

论文基于结构相似性度量，获取彩色图像与深度图一致的边缘区域，并进行像素点邻域块的自适应选取，保留深度不连续性，进而实现深度图超分辨率重建。表述清晰，图表完整，实验丰富。

不同带宽参数深度重建结果对比

4

题目：多尺度密集残差网络的单幅图像超分辨率重建

作者：应自炉,龙祥

来源：中国图象图形学报, 2019年第3期

全文链接：

http://www.cjig.cn/html/jig/2019/3/20190309.htm

同行评议：

深度学习算法在图像识别和超分辨率重建等方面的应用，是当前的研究热点和难点。论文研究了单幅图像超分辨率重建中的深度学习算法的改进，提出使用三种不同尺度的卷积核，对输入的低分辨率图像进行卷积处理，以采集图像的不同尺度下的底层特征，以期获得更好的重建图像细节。

不同算法重建结果对比

5

题目：纹理边缘引导的深度图像超分辨率重建

作者：李宇翔,邓慧萍,向森,吴谨,朱磊

来源：中国图象图形学报, 2018年第10期

全文链接：

http://www.cjig.cn/html/jig/2018/10/20181006.htm

同行评议：

针对kinect深度图超分辨率重建引起的边缘不准确的问题，提出了一种基于结构化学习的深度图像边缘错误区域检测方法和基于边缘对齐的错误区域修复方法。论文具有一定的创新性，实验详实。

算法处理过程及结果

6

题目：基于中间层监督卷积神经网络的图像超分辨率重建

作者：李现国,孙叶美,杨彦利,苗长云

来源：中国图象图形学报, 2018年第7期

全文链接：

http://www.cjig.cn/html/jig/2018/7/20180705.htm

同行评议：

论文在卷积神经网络的基础上，通过引入了中间监督层，优化了卷积神经网络误差反向传播机制，解决了在训练神经网络时梯度消失的问题；并与残差学习结合，减少了网络训练的复杂度，提高了训练速度的同时又能实现更高的重建效果。实验结果表明，此算法在速度和重建质量方面都有提高。论文具有一定的创新性，有一定的参考价值。

中间层监督卷积神经网络结构

7

题目：图像超分辨率重建中的细节互补卷积模型

作者：李浪宇,苏卓,石晓红,黄恩博,罗笑南

来源：中国图象图形学报, 2018年第4期

全文链接：

http://www.cjig.cn/html/jig/2018/4/20180412.htm

同行评议：

效率和效果是一对矛盾体，有些时候需要折衷。论文方法在网络中添加了一个新的输入, 用于补充图像在重建过程中所丢失的高频信息，能够在较少的训练以及比较浅的网络下获得有效的重建图像并且保留更多的图像细节。方案和实验结果印证了这一结论。

论文模型结构

8

题目：结合深度学习的单幅遥感图像超分辨率重建

作者：李欣,韦宏卫,张洪群

来源：中国图象图形学报, 2018年第2期

全文链接：

http://www.cjig.cn/html/jig/2018/2/20180206.htm

同行评议：

构造基于四层卷积的深度神经网络结构，并在结构中前三层卷积后添加参数修正线性单元层和局部响应归一化层进行优化，经过训练得到遥感图像超分辨重建模型。将深度学习机制加入到单幅图像的超分辨率重建中,在一定程度上克服了过拟合和边界模糊问题。

论文模型结构

9

题目：边缘增强深层网络的图像超分辨率重建

作者：谢珍珠,吴从中,詹曙

来源：中国图象图形学报, 2018年第1期

全文链接：

http://www.cjig.cn/html/jig/2018/1/20180112.htm

同行评议：

论文引入反卷积网络，用于重建输入图像的边缘细节信息，并通过存储最大池化操作的位置，以减少上采样时的细节信息丢失问题，对特征图边缘填充宽度为1的0值，使得本文的输出图像和输入图像的尺寸保持一致。实验结果较理想。

论文模型结构

全民抗疫我倡议

春风杨柳万千条，六亿神州尽舜尧。

红雨随心翻作浪，青山着意化为桥。

天连五岭银锄落，地动三河铁臂摇。

借问瘟君欲何往，纸船明烛照天烧。

   ——毛泽东《送瘟神》      

黄鹤楼  是武汉的地标

也是这个城市的风骨

它不只是雄才远略  气吞云梦  辉煌烂漫

更是平凡人的常怀悲悯  不屈不挠

纵前路艰难  或迷茫慌张

仍心中有爱  眼里有光

不忘初心  勇敢前行

如果您有故事想倾诉，有问题想询问，有经验想分享，欢迎添加下方学报小编微信。

❂ 好文推荐

前沿进展 | 多媒体信号处理的数学理论

中国卫星遥感回首与展望

单目深度估计方法：现状与前瞻

目标跟踪40年，什么才是未来？

算法集锦 | 深度学习如何辅助医疗诊断？

10篇CV综述速览计算机视觉新进展

算法集锦|深度学习在遥感图像处理中的六大应用

封面故事 | AI看图说话，智慧图解春意

封面故事 | 从传统到深度：火灾烟雾识别综述

封面故事 | 光场数据压缩综述

学者观点 | 结合深度学习和半监督学习的遥感影像分类

编辑推荐 | 视频 + 地图！四维信息助力实景中国

深度学习+图像降噪，如何解决“卡脖子”问题？

❂ 专家报告

专家推荐|高维数据表示：由稀疏先验到深度模型

专家报告 | AI与影像“术”——医学影像在新冠肺炎中的应用

专家推荐|真假难辨还是虚幻迷离，参与介质图形绘制让人惊叹！

学者推荐 | 深度学习与高光谱图像分类【内含PPT 福利】

专家报告|深度学习+图像多模态融合

专家报告 | 类脑智能与类脑计算

100页PPT！道尽Pansharpening 的数学建模机理

222页PPT！Get神经网络与深度学习的好机会~

200+PPT！带你读懂深度网络模型与机理

实战例题！200+PPT带你看懂监督学习

170页PPT入门深度强化学习！

118页PPT！机器学习模型参数与优化那些事儿~

专家开讲 | 机器学习究竟是什么？

❂ 论文写作

Hinton，吴恩达，李飞飞 ！大师深度学习课程集锦

羡慕别人中了顶会？做到这些你也可以！

如何阅读一篇文献？

共享 | SAR图像船舶切片数据集

资源分享| 不知道如何获取最新的算法资讯？快来这里看一看

资源分享|热门IT资讯号推荐

❂ 往期目次

《中国图象图形学报》2020年第2期目次

《中国图象图形学报》2020年第1期目次

《中国图象图形学报》2019年第12期目次

《中国图象图形学报》2019年第11期目次

《中国图象图形学报》2019年第10期目次

声  明

欢迎转发本号原创内容，任何形式的媒体或机构未经授权，不得转载和摘编。授权请在后台留言“机构名称+文章标题+转载/转发”联系本号。转载需标注原作者和信息来源为《中国图象图形学报》。本号转载信息旨在传播交流，内容为作者观点，不代表本号立场。未经允许，请勿二次转载。如涉及文字、图片等内容、版权和其他问题，请于文章发出20日内联系本号，我们将第一时间处理。《中国图象图形学报》拥有最终解释权。

齐心抗疫

与你同在

前沿 | 观点 | 资讯 | 独家

电话：010-58887030/7035/7418

网站：www.cjig.cn

在看点这里