【博士论文】结合图像与文本以提升医学图像理解

近年来，人工智能，尤其是深度学习模型在医学影像领域的整合，对疾病分类能力产生了重大影响。然而，仅依赖影像数据限制了全面捕捉患者诊断复杂性的能力。临床报告形式的文本数据提供了额外的宝贵见解，提供了丰富的临床信息，可以补充基于图像的分析。尽管具有潜力，但由于临床医生输入的变异性以及医学文本中信息水平的不同，将文本信息纳入疾病分类模型提出了重大挑战。本论文通过多模态学习的新方法和新途径应对这些挑战，旨在通过将影像数据与其他临床信息来源相结合来增强医学图像分析。本论文提出的工作的总体结论是，在医学领域跨不同模态的信息组合不仅是可能的，而且在大量场景中效果极佳。通过考虑更完整的患者数据表示，额外信息的加入使基于人工智能的分析在概念上更接近临床医生的分析。

1.1 多模态学习 在我们每天进行的数千个简单动作或思考中，大多数活动都有一个共同的复杂底层技能：信息的收集与整合。无论是处理感官线索还是解读视觉数据，这些能力都是我们在世界中运作的基础。它们可以确认信号（例如闻到烟味的同时看到火焰），或为我们提供更多信息以采取行动。收集、整合和解读数据的过程几乎存在于我们日常生活的方方面面。 我们的能力是通过经验学习从幼年时期培养出来的行为。无论是辨别视觉和听觉输入，还是掌握音乐表演或外科手术等复杂任务，这些技能都是通过教育和实践获得的。同样，在人工智能（AI）领域，深度学习基于从数据中学习的原则，但在计算环境中进行[9]。与人类学习的生物性和经验性不同，深度学习模型使用大规模数据集自动识别模式，并基于此做出预测和决策[93]。 在过去的几十年中，深度学习在模仿人类推理和学习能力方面取得了显著进展，尤其是在自主系统中。以自动驾驶为例，它之所以成为可能，是因为从各种驾驶环境中获取的大量传感器数据中学习到的实时复杂预测技术[23]。在医学领域，基于深度学习的方法加速了药物发现，因为更复杂的数据驱动模拟成为可能。诺贝尔化学奖授予AlphaFold的开发者，这一模型用于预测蛋白质折叠结构，突显了深度学习的变革性影响[79]。在临床环境中，深度学习方法已被证明能够以与临床医生相当甚至更高的水平解读和诊断医学扫描[20, 104, 148]。自主系统的进步共同点在于，它们都依赖于数据暴露，通过实践复制人类推理过程。 然而，复制人类推理仍然是一个挑战，每一次进步都伴随着对现有局限性的批判性评估。自动驾驶汽车的首起事故成为全球新闻，因为算法错误不仅仅是简单的失误。这些错误源于数据处理中的错误或无法识别关键信息[125]。在临床应用中，这一问题同样关键。误诊可能严重影响患者的生活。因此，严格的法规确保临床环境中的AI系统安全且一致地运行，将其使用限制在专门训练和严格测试的常规工作中[214]。更复杂的医疗决策仍需要人类专家正确评估和解读不同的信息来源，如影像研究、患者病史和既有病情。 这表明，提升深度学习系统复制人类推理能力的关键在于为其提供尽可能接近人类学习过程中使用的广度和丰富性的信息。当深度学习模型接受与人类相同的丰富多样输入训练时，就有潜力解决现实应用中的复杂问题。 1.2 医学领域的深度学习 推进深度学习方法的潜在影响在医学领域尤为重要。医学影像技术的创新缩短了扫描时间，并使医学扫描在医院中得到更广泛的使用。获取更多疾病信息使临床医生能够提供更准确的诊断。尽管扫描数量在增加，但诊断仍然严重依赖临床医生的输入。随着全球人口持续增长，医疗系统面临的工作量也在增加，预计这将进一步增加对临床医生的需求[78]。因此，能够帮助临床医生快速准确做出诊断的工具具有重要价值。在这一背景下，深度学习可以提供强大的解决方案，提高效率并改善诊断准确性。 最有前景的机会之一在于从医学图像中检测疾病。基于深度学习的工具越来越多地融入临床实践，帮助临床医生解读医学数据。通过减少临床医生的工作量，深度学习方法使他们能够更专注于罕见和复杂病例以及需要个性化护理的患者。此外，更快的诊断可以带来早期干预的积极效果，从而提高整体护理质量。 为了描绘过去十年中AI在医学影像中的应用情况，以下简要概述。自2012年AlexNet的里程碑式引入[90]以来，深度学习在医学影像中的使用以前所未有的速度增长。AlexNet对卷积神经网络（CNN）的发展起到了关键作用。2015年左右，CNN首次应用于医学影像任务，如从放射扫描中检测疾病[104, 148]，这为AI驱动的医学诊断进步开辟了新途径。2017年，深度学习模型首次在特定诊断任务（胸部X光图像中的肺炎检测）中超越人类临床医生[140]，这一里程碑突显了通过深度学习方法增强医疗决策和改善患者护理的潜力。如今，市场上有许多商业化的AI系统，涵盖各种医学专业和应用领域，从协助放射科医生解读图像到预测患者结果和优化治疗计划。 1.3 医学领域多模态学习的发展之路 深度学习在特定临床用例中的快速发展指向下一个前沿：解决需要整合多种数据类型的更复杂问题。大多数现有方法基于单一医学扫描预测患者的诊断[112]，如图1a所示。这简化了临床决策的复杂性。临床医生依赖图像以外的数据源（如患者的病史）来确认诊断。这需要临床医生和深度学习方法使用的信息更接近，如图1b所示。当医学扫描是唯一可用的数据类型时，深度学习能够可靠应用的范围是有限的。深度学习方法对多种数据类型的解读被称为多模态学习，即从多种数据模态中学习。 在临床医生使用的各种数据类型中，医学影像和文本信息是最常见的配对模态。文本数据可以包括临床笔记、病史、实验室报告和放射学报告，所有这些都为解读医学图像提供了关键背景。例如，X光图像可能显示潜在的肺部病变，但医生还会考虑患者的病史（如既往感染、吸烟状况）以得出最终诊断。最近的研究已开始探索多模态方法，在结合医学图像和伴随文本方面取得了一些有希望的成果[182, 194]。 然而，在临床环境中使用多模态学习仍面临重大挑战。主要障碍之一是文本医学数据的异质性。临床报告并不总是遵循统一的格式、结构和标准。它们通常是非结构化的，且在不同临床医生和机构之间存在语言和风格的变异性。此外，患者隐私和语言特异性（尤其是低资源语言）也是需要关注的问题。开发能够处理这些多样化数据类型并以有意义的方式整合它们的深度学习模型是一项复杂的任务。