Digital pathology based on whole slide images (WSIs) plays a key role in cancer diagnosis and clinical practice. Due to the high resolution of the WSI and the unavailability of patch-level annotations, WSI classification is usually formulated as a weakly supervised problem, which relies on multiple instance learning (MIL) based on patches of a WSI. In this paper, we aim to learn an optimal patch-level feature space by integrating prototype learning with MIL. To this end, we develop a Trainable Prototype enhanced deep MIL (TPMIL) framework for weakly supervised WSI classification. In contrast to the conventional methods which rely on a certain number of selected patches for feature space refinement, we softly cluster all the instances by allocating them to their corresponding prototypes. Additionally, our method is able to reveal the correlations between different tumor subtypes through distances between corresponding trained prototypes. More importantly, TPMIL also enables to provide a more accurate interpretability based on the distance of the instances from the trained prototypes which serves as an alternative to the conventional attention score-based interpretability. We test our method on two WSI datasets and it achieves a new SOTA. GitHub repository: https://github.com/LitaoYang-Jet/TPMIL


翻译:数字病理学的发展基于整张切片图像 (WSI) 为基础的,其在癌症诊断和临床实践方面扮演着重要角色。由于WSI 的高分辨率和补丁级别标注的不可用性,WSI 分类通常被制定为一个依赖于WSI 补丁的多实例学习 (MIL) 的弱监督问题。在本文中,我们旨在通过将原型学习与 MIL 相结合,学习一个最佳的补丁级别特征空间。为此,我们开发了一个 TPME (可训练原型增强的深度 MIL) 框架,用于弱监督的 WSI 分类。与传统方法依赖于某个固定数目的补丁进行特征空间细化不同,我们通过将所有实例分配到它们相应的原型中,软性地对所有实例进行聚类。此外,我们的方法能够通过对应训练原型的间距揭示不同肿瘤亚型之间的相关性。更重要的是,TPMIL 还能通过实例距离训练原型的距离提供更精确的可解释性,这可作为传统基于注意力分数的可解释性的替代方案。我们在两个 WSI 数据集上测试了我们的方法,并取得了新的 SOTA。GitHub 仓库:https://github.com/LitaoYang-Jet/TPMIL

0
下载
关闭预览

相关内容

CVPR 2022 | 用于语义分割任务的跨图像关系型知识蒸馏
专知会员服务
22+阅读 · 2022年5月15日
【AAAI2022】跨域少样本图分类
专知会员服务
29+阅读 · 2022年1月22日
【AAAI2021】用于多标签图像分类的深度语义词典学习
专知会员服务
14+阅读 · 2020年12月30日
【AAAI2021】协同挖掘:用于稀疏注释目标检测的自监督学习
浅聊对比学习(Contrastive Learning)
极市平台
2+阅读 · 2022年7月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
VIP会员
相关资讯
浅聊对比学习(Contrastive Learning)
极市平台
2+阅读 · 2022年7月26日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员