【CVPR2023】基于动态图增强对比学习的胸部X光报告生成

自动放射学报告在减轻放射科医生繁重的工作和提高诊断解释方面具有巨大的临床潜力。最近，研究人员用医学知识图谱增强了数据驱动的神经网络，以消除这项任务中严重的视觉和文本偏差。这些图的结构利用了疾病主题标签通过常识形成的临床依赖关系，通常在训练过程中不进行更新。因此，固定的图不能保证最合适的知识范围，限制了算法的有效性。为了解决这一问题，本文提出了一种具有动态结构和节点的知识图谱DCL，以促进对比学习的医疗报告生成。图的基本结构是根据一般知识预先构造的。然后探索从检索到的报告中提取的特定知识，以自底向上的方式添加额外的节点或重新定义它们的关系。在输入到解码器模块以生成报告之前，每个图像特征都与它自己的更新图形集成。最后，引入图像-报告对比度和图像-报告匹配损失，以更好地表示视觉特征和文本信息。在IU-Xray射线和MIMIC-CXR数据集上进行评估，DCL在这两个基准上优于之前的最先进模型。