Domain shift is a well-known problem in the medical imaging community. In particular, for endoscopic image analysis where the data can have different modalities the performance of deep learning (DL) methods gets adversely affected. In other words, methods developed on one modality cannot be used for a different modality. However, in real clinical settings, endoscopists switch between modalities for better mucosal visualisation. In this paper, we explore the domain generalisation technique to enable DL methods to be used in such scenarios. To this extend, we propose to use super pixels generated with Simple Linear Iterative Clustering (SLIC) which we refer to as "SUPRA" for SUPeRpixel Augmented method. SUPRA first generates a preliminary segmentation mask making use of our new loss "SLICLoss" that encourages both an accurate and color-consistent segmentation. We demonstrate that SLICLoss when combined with Binary Cross Entropy loss (BCE) can improve the model's generalisability with data that presents significant domain shift. We validate this novel compound loss on a vanilla U-Net using the EndoUDA dataset, which contains images for Barret's Esophagus and polyps from two modalities. We show that our method yields an improvement of nearly 20% in the target domain set compared to the baseline.


翻译:领域偏移是医学图像分析领域中一个众所周知的问题。特别是在内窥镜图像分析中,由于数据可能具有不同的模态,深度学习(DL)方法的性能会受到负面影响。换句话说,在一个模态上开发的方法不能用于不同的模态。然而,在实际临床环境中,内窥镜医生会切换模态以获得更好的粘膜成像。在本文中,我们探索领域通用技术,使DL方法能够在这种情况下使用。为此,我们建议使用使用Simple Linear Iterative Clustering(SLIC)生成的超像素,将其称为“SUPRA” for SUPeRpixel Augmented method。SUPRA首先生成初步分割掩模,利用我们的新损失“ SLICLoss ”,该损失既鼓励准确的分割,又鼓励颜色一致性。我们证明,当与Binary Cross Entropy loss(BCE)相结合时,SLICLoss可以提高模型对具有显着领域偏移的数据的通用性。我们在EndoUDA数据集上使用基础U-Net验证了这种新颖的复合损失,其中包含两种模态的Barret食管和息肉的图像。我们表明,与基线相比,我们的方法可以使目标域集合的性能提高近20%。

0
下载
关闭预览

相关内容

专知会员服务
20+阅读 · 2021年7月28日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
27+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
视频超分辨 Detail-revealing Deep Video Super-resolution 论文笔记
统计学习与视觉计算组
17+阅读 · 2018年3月16日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Improved Probabilistic Image-Text Representations
Arxiv
0+阅读 · 2023年5月29日
VIP会员
相关VIP内容
专知会员服务
20+阅读 · 2021年7月28日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员