While Transformer has achieved remarkable performance in various high-level vision tasks, it is still challenging to exploit the full potential of Transformer in image restoration. The crux lies in the limited depth of applying Transformer in the typical encoder-decoder framework for image restoration, resulting from heavy self-attention computation load and inefficient communications across different depth (scales) of layers. In this paper, we present a deep and effective Transformer-based network for image restoration, termed as U2-Former, which is able to employ Transformer as the core operation to perform image restoration in a deep encoding and decoding space. Specifically, it leverages the nested U-shaped structure to facilitate the interactions across different layers with different scales of feature maps. Furthermore, we optimize the computational efficiency for the basic Transformer block by introducing a feature-filtering mechanism to compress the token representation. Apart from the typical supervision ways for image restoration, our U2-Former also performs contrastive learning in multiple aspects to further decouple the noise component from the background image. Extensive experiments on various image restoration tasks, including reflection removal, rain streak removal and dehazing respectively, demonstrate the effectiveness of the proposed U2-Former.


翻译:虽然变异器在各种高层次的视觉任务中取得了显著的成绩,但充分发挥变异器在图像恢复中的全部潜力仍是一项艰巨的任务。 关键在于在典型的图像恢复编码-代码框架的典型编码-代码框架中应用变异器的深度有限, 其原因包括大量自省计算负荷, 以及不同深度( 尺度) 不同层的通信效率低下。 在本文中, 我们展示了一个以深而有效的变异器为基础的图像恢复网络, 称为U2- Former, 它能够利用变异器作为核心操作, 在深层编码和解码空间进行图像恢复。 具体地说, 它利用嵌入的U型结构促进不同层层与不同地貌地图的相互作用。 此外, 我们优化了基本变异器块的计算效率, 引入了一个功能过滤机制来压缩象征性的表示。 除了典型的图像恢复监督方式外, 我们的U2- Former还在多个方面进行对比性学习, 以进一步调和从背景图像中分离噪音组成部分。 对各种图像恢复任务进行了广泛的实验, 包括反映射去除、 摘除和去雨中和去。

0
下载
关闭预览

相关内容

专知会员服务
45+阅读 · 2021年9月3日
专知会员服务
29+阅读 · 2021年7月30日
最新《Transformers模型》教程,64页ppt
专知会员服务
306+阅读 · 2020年11月26日
专知会员服务
44+阅读 · 2020年10月31日
Reformer:一个高效的 Transformer
TensorFlow
9+阅读 · 2020年2月13日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
Arxiv
15+阅读 · 2022年1月24日
Arxiv
3+阅读 · 2021年10月14日
A survey on deep hashing for image retrieval
Arxiv
14+阅读 · 2020年6月10日
Star-Transformer
Arxiv
5+阅读 · 2019年2月28日
VIP会员
相关资讯
Reformer:一个高效的 Transformer
TensorFlow
9+阅读 · 2020年2月13日
一文读懂Faster RCNN
极市平台
5+阅读 · 2020年1月6日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
【TED】生命中的每一年的智慧
英语演讲视频每日一推
9+阅读 · 2019年1月29日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
Facebook PyText 在 Github 上开源了
AINLP
7+阅读 · 2018年12月14日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
视觉机械臂 visual-pushing-grasping
CreateAMind
3+阅读 · 2018年5月25日
Top
微信扫码咨询专知VIP会员