Whole slide image (WSI) has been widely used to assist automated diagnosis under the deep learning fields. However, most previous works only discuss the SINGLE task setting which is not aligned with real clinical setting, where pathologists often conduct multiple diagnosis tasks simultaneously. Also, it is commonly recognized that the multi-task learning paradigm can improve learning efficiency by exploiting commonalities and differences across multiple tasks. To this end, we present a novel multi-task framework (i.e., MulGT) for WSI analysis by the specially designed Graph-Transformer equipped with Task-aware Knowledge Injection and Domain Knowledge-driven Graph Pooling modules. Basically, with the Graph Neural Network and Transformer as the building commons, our framework is able to learn task-agnostic low-level local information as well as task-specific high-level global representation. Considering that different tasks in WSI analysis depend on different features and properties, we also design a novel Task-aware Knowledge Injection module to transfer the task-shared graph embedding into task-specific feature spaces to learn more accurate representation for different tasks. Further, we elaborately design a novel Domain Knowledge-driven Graph Pooling module for each task to improve both the accuracy and robustness of different tasks by leveraging different diagnosis patterns of multiple tasks. We evaluated our method on two public WSI datasets from TCGA projects, i.e., esophageal carcinoma and kidney carcinoma. Experimental results show that our method outperforms single-task counterparts and the state-of-theart methods on both tumor typing and staging tasks.
翻译:整个幻灯片图像( WSI I) 已被广泛用于帮助在深层学习字段下进行自动诊断。 然而, 先前的多数工作只是讨论 SINGLE 任务设置, 它与真正的临床环境不协调, 病理学家常常同时执行多重诊断任务。 另外, 人们普遍认识到, 多任务学习模式可以通过利用多种任务的共性和差异来提高学习效率。 为此, 我们提出了一个新颖的多任务分析框架( 即 MulGT), 由专门设计的配有任务认知知识输入和Domain知识驱动的图形组合模块来进行 WSI 分析。 基本上, 以图表神经网络和变换器作为共同建筑, 我们的框架能够学习任务- 低层次的任务和特定任务高层次的全球代表性。 考虑到WSI 分析中的不同任务取决于不同的特性和属性, 我们还设计了一个新颖的任务认知知识输入模块, 将任务共享的图形嵌入任务特定功能空间, 以学习更精确的不同任务 。 此外, 我们精心设计了一个任务- 精细的精确度, 多层次 任务, 将我们的数据分析 格式 格式 的 格式 格式, 将 我们的 格式 格式 格式 将不同的 格式 格式 格式 格式 格式 格式 格式 格式 格式 的 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式 格式,, 格式 格式 格式 格式 格式 格式 格式 格式 格式,,,,, 格式,, 格式,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,