Cytopathology report generation is a necessary step for the standardized examination of pathology images. However, manually writing detailed reports brings heavy workloads for pathologists. To improve efficiency, some existing works have studied automatic generation of cytopathology reports, mainly by applying image caption generation frameworks with visual encoders originally proposed for natural images. A common weakness of these works is that they do not explicitly model the structural information among cells, which is a key feature of pathology images and provides significant information for making diagnoses. In this paper, we propose a novel graph-based framework called GNNFormer, which seamlessly integrates graph neural network (GNN) and Transformer into the same framework, for cytopathology report generation. To the best of our knowledge, GNNFormer is the first report generation method that explicitly models the structural information among cells in pathology images. It also effectively fuses structural information among cells, fine-grained morphology features of cells and background features to generate high-quality reports. Experimental results on the NMI-WSI dataset show that GNNFormer can outperform other state-of-the-art baselines.


翻译:细胞病理学报告的生成是病理学图像标准化检查的必要步骤。然而,手动编写详细的报告会给病理学家带来沉重的工作负担。为提高效率,一些已有的工作研究了自动生成细胞病理学报告,主要是通过应用最初针对自然图像的视觉编码器的图像字幕生成框架。这些工作的一个常见弱点是它们不明确地对细胞之间的结构信息进行建模,这是病理学图像的一个关键特征,为诊断提供了重要信息。在本文中,我们提出了一种称之为GNNFormer的新型基于图形的框架,该框架无缝集成了图神经网络(GNN)和Transformer,用于细胞病理学报告生成。据我们所知,GNNFormer是第一种明确地对病理学图像中的细胞之间的结构信息进行建模的报告生成方法。它还有效地融合了细胞之间的结构信息,细胞的细粒度形态特征和背景特征,生成高质量的报告。在NMI-WSI数据集上的实验结果表明,GNNFormer可以胜过其他最先进的基线。

1
下载
关闭预览

相关内容

《计算机信息》杂志发表高质量的论文,扩大了运筹学和计算的范围,寻求有关理论、方法、实验、系统和应用方面的原创研究论文、新颖的调查和教程论文,以及描述新的和有用的软件工具的论文。官网链接:https://pubsonline.informs.org/journal/ijoc
专知会员服务
43+阅读 · 2021年4月12日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月9日
Arxiv
17+阅读 · 2019年3月28日
VIP会员
相关VIP内容
专知会员服务
43+阅读 · 2021年4月12日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
77+阅读 · 2020年7月26日
相关资讯
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
相关基金
Top
微信扫码咨询专知VIP会员