Medical image segmentation plays an essential role in developing computer-assisted diagnosis and therapy systems, yet still faces many challenges. In the past few years, the popular encoder-decoder architectures based on CNNs (e.g., U-Net) have been successfully applied in the task of medical image segmentation. However, due to the locality of convolution operations, they demonstrate limitations in learning global context and long-range spatial relations. Recently, several researchers try to introduce transformers to both the encoder and decoder components with promising results, but the efficiency requires further improvement due to the high computational complexity of transformers. In this paper, we propose LeViT-UNet, which integrates a LeViT Transformer module into the U-Net architecture, for fast and accurate medical image segmentation. Specifically, we use LeViT as the encoder of the LeViT-UNet, which better trades off the accuracy and efficiency of the Transformer block. Moreover, multi-scale feature maps from transformer blocks and convolutional blocks of LeViT are passed into the decoder via skip-connection, which can effectively reuse the spatial information of the feature maps. Our experiments indicate that the proposed LeViT-UNet achieves better performance comparing to various competing methods on several challenging medical image segmentation benchmarks including Synapse and ACDC. Code and models will be publicly available at https://github.com/apple1986/LeViT_UNet.


翻译:医疗图像分割在开发计算机辅助诊断和治疗系统方面发挥着不可或缺的作用,但依然面临许多挑战。在过去几年里,基于CNN(例如U-Net)的流行编码器-代碼结构(编码器-代码器结构)成功地应用到医疗图像分割任务中。然而,由于连锁作业的地理位置,在学习全球背景和远程空间关系方面表现出了局限性。最近,一些研究人员试图将变压器引入变压器到具有良好效果的编码器和解码器组件中,但由于变压器的计算复杂程度很高,效率还需要进一步提高。在本文件中,我们提议将LViT-UNet-UNet(将一个LeViT变压器模块纳入到U-Net结构中,用于快速和准确的医疗图像分割任务。具体地说,我们使用LeviT作为LeViT(LeViT)的编码码码/远程空间关系的编码,这能更好地转换变压器模型的准确性和效率。此外,来自变压器块和变压器的多级地特征图图图和变压器块将通过跳式式式联合国/变压系统连接传输系统进行脱入脱转式的解式的解剖路图解剖路,可以有效再利用。

1
下载
关闭预览

相关内容

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。 所谓图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域,并使这些特征在同一区域内呈现出相似性,而在不同区域间呈现出明显的差异性。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新《Transformers模型》教程,64页ppt
专知会员服务
306+阅读 · 2020年11月26日
【ICML2020】文本摘要生成模型PEGASUS
专知会员服务
34+阅读 · 2020年8月23日
专知会员服务
60+阅读 · 2020年3月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
58+阅读 · 2019年10月17日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Generative Adversarial Text to Image Synthesis论文解读
统计学习与视觉计算组
13+阅读 · 2017年6月9日
Arxiv
3+阅读 · 2021年9月17日
W-net: Bridged U-net for 2D Medical Image Segmentation
Arxiv
19+阅读 · 2018年7月12日
VIP会员
Top
微信扫码咨询专知VIP会员