Deep network-based image Compressed Sensing (CS) has attracted much attention in recent years. However, the existing deep network-based CS schemes either reconstruct the target image in a block-by-block manner that leads to serious block artifacts or train the deep network as a black box that brings about limited insights of image prior knowledge. In this paper, a novel image CS framework using non-local neural network (NL-CSNet) is proposed, which utilizes the non-local self-similarity priors with deep network to improve the reconstruction quality. In the proposed NL-CSNet, two non-local subnetworks are constructed for utilizing the non-local self-similarity priors in the measurement domain and the multi-scale feature domain respectively. Specifically, in the subnetwork of measurement domain, the long-distance dependencies between the measurements of different image blocks are established for better initial reconstruction. Analogically, in the subnetwork of multi-scale feature domain, the affinities between the dense feature representations are explored in the multi-scale space for deep reconstruction. Furthermore, a novel loss function is developed to enhance the coupling between the non-local representations, which also enables an end-to-end training of NL-CSNet. Extensive experiments manifest that NL-CSNet outperforms existing state-of-the-art CS methods, while maintaining fast computational speed.


翻译:近年来,基于网络的深层图像压缩(CS)已引起许多关注,但现有的基于网络的深层图像压缩(CS)方案要么以逐条方式重建目标图像,导致形成严重的块状文物,要么将深层网络训练成一个黑盒,对先前的图像了解有限。在本文中,提议采用非本地神经网络(NL-CSNet)的新图像 CS框架,利用非本地自我相似的前身和深层网络来提高重建质量。在拟议的NL-CSNet中,建立了两个非本地子网络,分别利用测量域域和多尺度域域的非本地自我相似的前身来重建目标图像。具体地说,在测量域子网子网络中,不同图像区块测量之间的长距离依赖性已经建立起来,以更好地进行初步重建。在多尺度特征域网子网子网子网下,为深层重建探索密集地貌图示之间的近似关系。此外,还开发了两个新的损失功能,以分别利用非本地的自我相似性前置前科,同时进行非本地的CS-LA型快速分析。

0
下载
关闭预览

相关内容

压缩感知是近年来极为热门的研究前沿,在若干应用领域中都引起瞩目。 compressive sensing(CS) 又称 compressived sensing ,compressived sample,大意是在采集信号的时候(模拟到数字),同时完成对信号压缩之意。 与稀疏表示不同,压缩感知关注的是如何利用信号本身所具有的稀疏性,从部分观测样本中恢复原信号。
专知会员服务
27+阅读 · 2021年8月2日
专知会员服务
50+阅读 · 2021年5月19日
专知会员服务
109+阅读 · 2020年3月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
“CVPR 2020 接受论文列表 1470篇论文都在这了
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Arxiv
0+阅读 · 2022年2月7日
Arxiv
17+阅读 · 2021年1月21日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
VIP会员
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
内涵网络嵌入:Content-rich Network Embedding
我爱读PAMI
4+阅读 · 2019年11月5日
CVPR 2019 | 34篇 CVPR 2019 论文实现代码
AI科技评论
21+阅读 · 2019年6月23日
逆强化学习-学习人先验的动机
CreateAMind
15+阅读 · 2019年1月18日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
【论文】图上的表示学习综述
机器学习研究会
14+阅读 · 2017年9月24日
Sparsifying Neural Network Connections for Face Recognition
统计学习与视觉计算组
7+阅读 · 2017年6月10日
Top
微信扫码咨询专知VIP会员