Supervised deep learning methods have achieved considerable success in medical image analysis, owing to the availability of large-scale and well-annotated datasets. However, creating such datasets for whole slide images (WSIs) in histopathology is a challenging task due to their gigapixel size. In recent years, self-supervised learning (SSL) has emerged as an alternative solution to reduce the annotation overheads in WSIs, as it does not require labels for training. These SSL approaches, however, are not designed for handling multi-resolution WSIs, which limits their performance in learning discriminative image features. In this paper, we propose a Dual-branch SSL Framework for WSI tumour segmentation (DSF-WSI) that can effectively learn image features from multi-resolution WSIs. Our DSF-WSI connected two branches and jointly learnt low and high resolution WSIs in a self-supervised manner. Moreover, we introduced a novel Context-Target Fusion Module (CTFM) and a masked jigsaw pretext task to align the learnt multi-resolution features. Furthermore, we designed a Dense SimSiam Learning (DSL) strategy to maximise the similarity of different views of WSIs, enabling the learnt representations to be more efficient and discriminative. We evaluated our method using two public datasets on breast and liver cancer segmentation tasks. The experiment results demonstrated that our DSF-WSI can effectively extract robust and efficient representations, which we validated through subsequent fine-tuning and semi-supervised settings. Our proposed method achieved better accuracy than other state-of-the-art approaches. Code is available at https://github.com/Dylan-H-Wang/dsf-wsi.


翻译:监督式深度学习方法已经在医学图像分析领域取得了相当大的成功,这归功于大规模且具有良好注释数据集的可用性。然而,在组织病理学中,为全幻灯片图像 (WSIs) 创建这样的数据集是一项具有挑战性的任务,因为它们具有Gigapixel级别的大小。近年来,自监督学习 (SSL) 已经成为减少 WSIs 注释负担的一种可行替代方案,因为它不需要标签即可进行训练。然而,这些SSL方法并不是为处理多分辨率 WSIs 而设计的,这限制了其在学习判别性图像特征方面的表现。本文提出了一种双分支自监督框架,用于WSI肿瘤分割 (DSF-WSI),其可以有效地从多分辨率 WSIs 中学习图像特征。我们的DSF-WSI连接了两个分支,并以自监督方式共同学习低分辨率和高分辨率的WSIs。此外,我们引入了一种新颖的上下文目标融合模块 (CTFM),以及一个掩码拼图预训练任务,以对齐学习的多分辨率特征。此外,我们设计了一种稠密 SimSiam 学习策略 (DSL),以最大化 WSIs 的不同视图的相似性,从而使学习表示更有效和具有区分性。我们使用两个公共数据集对我们的方法进行评估,评估了乳腺癌和肝脏癌分割任务。实验结果表明,我们的 DSF-WSI 可以有效地提取出强健和高效的表示,我们通过随后的微调和半监督设置进行了验证。我们提出的方法的精度比其他最先进的方法更好。代码可在 https://github.com/Dylan-H-Wang/dsf-wsi 上获得。

0
下载
关闭预览

相关内容

专知会员服务
44+阅读 · 2021年1月31日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【推荐】ResNet, AlexNet, VGG, Inception:各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月5日
Arxiv
14+阅读 · 2021年8月5日
Arxiv
19+阅读 · 2020年7月21日
A survey on deep hashing for image retrieval
Arxiv
14+阅读 · 2020年6月10日
VIP会员
相关VIP内容
专知会员服务
44+阅读 · 2021年1月31日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
74+阅读 · 2020年4月24日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
164+阅读 · 2020年3月18日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员