多模态和纵向神经影像(即多维神经影像)对于理解、诊断和监测神经系统疾病至关重要。这些图像所捕捉到的复杂疾病模式往往难以被人类专家或现有技术识别。深度学习在神经影像分析中显示出了巨大的潜力。然而,这些方法往往产生难以解释的结果,这在需要了解模型行为以增强临床医生信任和保证的情况下尤其令人担忧。此外,为了使其结果具有普遍性,这些方法通常需要大量标记的神经影像数据,而这些数据要么难以获得,要么成本高昂。因此,本论文旨在解决深度学习中的两个挑战:可解释性和在数据有限情况下的准确性。具体而言,我们通过可视化和疾病特征估计来增强可解释性。为了准确识别疾病特定的模式,我们提出在模型设计中整合先验知识,并开发围绕自监督或弱监督的新策略。
通过适应这些关键思想,我们首先开发了用于多模态神经影像的深度学习方法,任务是从多对比磁共振成像(MRI)合成18F-氟脱氧葡萄糖(FDG)正电子发射断层扫描(PET)。我们在模型设计中引入大脑对称性,以实现异常的准确表征。然后,我们开发了一种自监督方法,即使在缺少输入模态的情况下也能实现准确的合成。我们能够从脑肿瘤队列的MRI中合成诊断质量的FDG PET图像,这可能导致更安全和更公平的诊断神经影像。其次,我们设计了一系列从监督到自监督或弱监督的可解释深度学习方法,以分析纵向MRI中的脑老化和阿尔茨海默病(AD)。这些模型明确考虑了这些过程的不可逆性,从而能够准确估计脑龄和疾病进展、AD诊断,并识别将转换为AD的个体。最后,我们介绍了多维神经影像的可解释分析,该方法联合学习纵向MRI和淀粉样蛋白PET。通过基于先验领域知识规范各模态中可见疾病异常的时间顺序,它进一步实现了从MRI估计淀粉样蛋白状态的准确跨模态预测任务。这些努力使得早期AD诊断成为可能,有望促进及时干预并增强AD临床试验。