Medical image segmentation is important for computer-aided diagnosis. Good segmentation demands the model to see the big picture and fine details simultaneously, i.e., to learn image features that incorporate large context while keep high spatial resolutions. To approach this goal, the most widely used methods -- U-Net and variants, extract and fuse multi-scale features. However, the fused features still have small "effective receptive fields" with a focus on local image cues, limiting their performance. In this work, we propose Segtran, an alternative segmentation framework based on transformers, which have unlimited "effective receptive fields" even at high feature resolutions. The core of Segtran is a novel Squeeze-and-Expansion transformer: a squeezed attention block regularizes the self attention of transformers, and an expansion block learns diversified representations. Additionally, we propose a new positional encoding scheme for transformers, imposing a continuity inductive bias for images. Experiments were performed on 2D and 3D medical image segmentation tasks: optic disc/cup segmentation in fundus images (REFUGE'20 challenge), polyp segmentation in colonoscopy images, and brain tumor segmentation in MRI scans (BraTS'19 challenge). Compared with representative existing methods, Segtran consistently achieved the highest segmentation accuracy, and exhibited good cross-domain generalization capabilities.


翻译:医学图像分割对于计算机辅助诊断很重要。 良好的分解要求模型同时看到大图和细细细节, 即学习包含大背景的图像特征, 并保持高空间分辨率。 要实现这一目标, 最广泛使用的方法是 U- Net 和 变异、 提取和引信多尺度特性。 但是, 连接特性仍然有小的“ 有效可接收域 ”, 重点是本地图像提示, 限制其性能。 在这项工作中, 我们提议Segtran, 一个基于变压器的替代分解框架, 它具有无限的“ 有效可接收域 ” 。 Segtran 的核心是一个新的 Squeze- 和 Expanation 变异器: 一个紧凑的注意区块 调节变异器的自我注意力, 一个扩展区块学习多样化的表达方式。 此外, 我们提议为变压器建立一个新的定位编码计划, 给图像带来一种感性偏差的连续性。 在 2D 和 3D 医学图像分割任务上进行了实验: Fundus 图像的光盘/ 分解( REG20 TFIN 挑战 ),, 和 以 最具有 的 的 Crealbal- cregraducal 的 的 度 roduction 度 和 度 的 度 度 和 的 roduction 共 度 度 的 的 度 度 的 。

0
下载
关闭预览

相关内容

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。 所谓图像分割指的是根据灰度、颜色、纹理和形状等特征把图像划分成若干互不交迭的区域,并使这些特征在同一区域内呈现出相似性,而在不同区域间呈现出明显的差异性。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
最新《Transformers模型》教程,64页ppt
专知会员服务
304+阅读 · 2020年11月26日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
图像分割的U-Net系列方法
极市平台
56+阅读 · 2019年10月21日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
(TensorFlow)实时语义分割比较研究
机器学习研究会
9+阅读 · 2018年3月12日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
Image Segmentation Using Deep Learning: A Survey
Arxiv
44+阅读 · 2020年1月15日
VIP会员
相关VIP内容
最新《Transformers模型》教程,64页ppt
专知会员服务
304+阅读 · 2020年11月26日
抢鲜看!13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
ExBert — 可视化分析Transformer学到的表示
专知会员服务
31+阅读 · 2019年10月16日
相关资讯
图像分割的U-Net系列方法
极市平台
56+阅读 · 2019年10月21日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
(TensorFlow)实时语义分割比较研究
机器学习研究会
9+阅读 · 2018年3月12日
深度学习医学图像分析文献集
机器学习研究会
18+阅读 · 2017年10月13日
Top
微信扫码咨询专知VIP会员