【NeurIPS2021】基于Transformer的多示例学习算法在组织病理学图像分类中的应用

2021级人工智能项目硕士生邵朱晨、边豪和陈扬（指导老师：王好谦）发表论文《基于Transformer的多示例学习算法在组织病理学图像分类中的应用》（TransMIL: Transformer based Correlated Multiple Instance Learning for Whole Slide Image Classification）。该论文针对组织病理学的弱监督分类问题提出了一种新的关联性多示例学习理论，并提供了相应的证明。基于这一理论，论文进一步设计了一种基于Transformer的多示例学习算法，它同时探索了形态学和空间信息，可有效地处理不平衡/平衡和二元/多元分类并具有可解释性，并在三个公开的病理图像数据集上取得最优性能。

https://www.zhuanzhi.ai/paper/0917bb8e8912fc4b1fd42379d3ef11c6

方法框架

活检诊断是癌症治疗和研究流程的基本步骤，是癌症诊断的“金标准”，其中活检样本的阴阳分类和癌症亚型分类，对患者疾病的精准诊断以及预后治疗有重要作用。组织病理图像扫描仪的出现为病理图像分析开辟了新的可能性，可将活检载玻片上的组织转换成千兆像素的组织病理图像(WSI)，充分保留了原始的组织结构。考虑到组织病理学巨大的尺寸以及像素级的注释通常难以获得，当只有诊断级别标签时，组织病理图像的分析便属于一种弱监督学习问题。但是目前的多实例学习方法通常是基于独立同分布假设，忽略了不同实例之间的相关性。为解决这个问题，本文提出了一个新的理论：关联性多实例学习理论，并进一步设计了一种基于Transformer 的多实例学习方法，它同时探索了形态学和空间信息。其中由于Transformer本身不具备对于序列顺序信息的关注能力，因而通常采用位置编码来利用序列的顺序信息。在组织病理学领域中，因为组织病理图像大小本身不固定，且不同组织病理图像中组织区域面积不同，所以对应序列的片段数量往往不相同。本文的PPEG模块在同一层使用不同大小的卷积核，既可以编码较为稀疏的位置信息，也可以编码较为紧密的位置信息，使PPEG模块对于不同类型的组织病理图像更具有普遍的适应性。最终，本文的算法在三个公开的组织病理图像数据集中取得了最优性能。