Most recent semantic segmentation methods adopt a U-Net framework with an encoder-decoder architecture. It is still challenging for U-Net with a simple skip connection scheme to model the global multi-scale context: 1) Not each skip connection setting is effective due to the issue of incompatible feature sets of encoder and decoder stage, even some skip connection negatively influence the segmentation performance; 2) The original U-Net is worse than the one without any skip connection on some datasets. Based on our findings, we propose a new segmentation framework, named UCTransNet (with a proposed CTrans module in U-Net), from the channel perspective with attention mechanism. Specifically, the CTrans module is an alternate of the U-Net skip connections, which consists of a sub-module to conduct the multi-scale Channel Cross fusion with Transformer (named CCT) and a sub-module Channel-wise Cross-Attention (named CCA) to guide the fused multi-scale channel-wise information to effectively connect to the decoder features for eliminating the ambiguity. Hence, the proposed connection consisting of the CCT and CCA is able to replace the original skip connection to solve the semantic gaps for an accurate automatic medical image segmentation. The experimental results suggest that our UCTransNet produces more precise segmentation performance and achieves consistent improvements over the state-of-the-art for semantic segmentation across different datasets and conventional architectures involving transformer or U-shaped framework. Code: https://github.com/McGregorWwww/UCTransNet.


翻译:最新的语义分解方法采用 U- Net 框架, 带有编码器- decoder 结构。 对于 U- Net 来说, 使用简单跳过连接机制来模拟全球多尺度背景的 U- Net 仍然具有挑战性: 1 并非所有跳过连接设置都是有效的,因为编码器和解码器阶段不兼容的地物组问题, 甚至有些跳过连接对分解性能产生了负面影响; 2 原始 U- Net 比一些数据集没有任何跳过连接的U- Net 框架更差。 根据我们的调查结果, 我们提议一个新的分区框架, 名为 UC- TRATINet (在 U- Net 中提议了一个 CTranstransl 模块), 从频道角度来模拟全球多级连接, 来模拟多级连接: C- Transtransl 连接, 包括一个子模块, 与变压器(以CCT ) 和 子模块- 跨级 CRODA, 以取代混合多级的解析/ 。 因此, C- 解算法- C- cal- cal- cal- cal- cal- cal- 和 CEDADADAD- sal- 等 能够取代原- 和 CL- sal- dismal- sal- AS- AS- disl) 和 CV- sal- disal- d- sal- sal- d- d- disal- sal- disal- 。

0
下载
关闭预览

相关内容

跳跃连接可以解决网络层数较深的情况下梯度消失的问题,同时有助于梯度的反向传播,加快训练过程。
专知会员服务
82+阅读 · 2020年9月27日
专知会员服务
15+阅读 · 2020年7月27日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
Github项目推荐 | AutoML与轻量模型列表
AI研习社
9+阅读 · 2019年5月4日
通过预训练提升语言理解
开放知识图谱
4+阅读 · 2018年11月21日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
Rethinking Graph Transformers with Spectral Attention
Arxiv
1+阅读 · 2021年10月27日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
3+阅读 · 2018年11月13日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
VIP会员
Top
微信扫码咨询专知VIP会员