Nat. Mach. Intel. | 用机器学习发现肉眼不可见的新冠肺部长期病变

大部分新冠重症患者在六个月后依然会有较为严重的呼吸系统后遗症，比如肺活量下降等。其它肺炎的呼吸系统后遗症通常由肺部损伤导致，然而多项研究表明，新冠重症幸存者出院6个月后的胸部CT和正常人区别不大: 大约一半的幸存者CT无法找到任何异常，另外一半仅可见极少量的纤维化区域。因此，新冠呼吸系统后遗症是否源于肺部损伤，需要进一步研究。

近期，沙特阿卜杜拉国王科技大学（KAUST）高欣教授课题组通过与哈尔滨医科大学附属第一医院，东北林业大学，百图生科（北京）智能技术有限公司，及黑龙江省拓盟科技有限公司的合作，在Nature Machine Intelligence 发表《An interpretable deep learning workflow for discovering subvisual abnormalities in CT scans of COVID-19 inpatients and survivors》，用机器学习发现并量化了新冠幸存者胸部CT中肉眼不可见的异常，并进一步证明了这些异常与新冠呼吸后遗症有极强的相关性。

量化肉眼不可见的肺损伤分为两大步骤。第一步是把这些肉眼不可见的损伤用可解释的方式展现给医疗专家，第二步是让医疗专家标注出哪些地方是损伤，并训练模型去自动量化这些肺损伤。下图展示了第一步，图中的CT来自于一个有严重呼吸后遗症的新冠幸存者：左边是原始的CT，肉眼看和正常人无异，右边是用机器学习模型增强后的，能看到大范围的纤维化病变。原始CT看不到这些肺损伤，是因为CT信号取值范围极宽（-1000到3000），而这些肺损伤的CT信号和健康肺组织差异很小（平均约25）；另外肺部的气管、血管等组织因为很强的CT信号值也会较大程度上干扰对肺损伤的观察。因此，为了能让医学专家看清这些肺损伤，高欣课题组首先训练了各种肺组织分割模型，去除了血管，气管等无关组织，然后统计肺内CT值为每个病人自动地计算了观察肺损伤最优的信号区间：例如患者A最佳的观察范围是CT信号 -720 到 -800，患者B最佳观察范围是CT信号 -650 到 -740。这样肺损伤就清晰了十几倍，得到了下图右边的样子。第二步，医学专家给肺损伤进行标注，作者们利用标注实现了对这些肺损伤的自动分割和量化，量化得到了6个肺损伤指标。作者将这一套流程简称为DLPE。

作者们用XGBoost等工具分析肺损伤指标、16个呼吸系统后遗症指标和53个临床指标的关联，发现这6个肺损伤指标（R1 total, R2 total, R3 total, R1 lower, R2 lower, R3 lower）在很多情况下对新冠呼吸后遗症有最强的解释力。如下图，第一列是16种呼吸系统后遗症；第二列是预测的后遗症和实际后遗症的相关系数，这里预测用了肺损伤指标；第三列是最有信息量的指标；第四列是不用肺损伤指标来预测呼吸系统后遗症时的相关系数。

作者们通过其它实验说明了DLPE方法的潜力。第一，DLPE可以去除scan-level bias，因此可以提高量化的准确度和模型的精确性。第二，DLPE有着极强的泛化能力，甚至能用于有严重肺病的CT。第三，DLPE有助于帮助医学专家分析其它肺部疾病，如真菌性肺炎、免疫缺陷性肺炎、甲型流感肺炎、肺结核、肺小结节以及肺癌等（）。

图4，相同ground truth，相同模型下，是否经过DLPE去scan-level bias的区别。左边没有去scan-level bias，右边去掉了，红色区域是肺损伤的标注。可以看到用DLPE去scan-level bias是能成功分割新冠长期肺损伤的关键。

Extended Data Fig.2. DLPE在各种肺病上的表现：模型能很稳定地应用于各种肺部疾病。

DLPE模型的成功不仅在于它流程的新颖性，更在于它实现了最优秀的血管分割和气管分割。气管和血管具有自相似性，作者证明了小血管、小气管的体积是极小的：占据总长度50%的最细的气管（血管）仅仅占据总体积的6.60%和6.11%。因此，用传统的损失函数，比如dice loss，cross-entropy loss等，模型无需分割小血管、小气管，就已经收敛了。为了解决这个问题，作者提出了feature-enhanced loss，其核心思想是让每一级血管（气管）得到相同的“关注”：每一级血管（气管）总和的loss weight是相同的。这样，DLPE实现了对小气管、小血管的精确分割。为了解决DLPE的泛化能力，作者提出了two-stage segmentation protocol：第一个阶段确定气管和血管的大体位置，将搜索空间缩小了上千倍；第二个阶段得到最后的血管和气管分割。这样，DLPE可以在各种不同的数据上进行稳定的预测。

DLPE有着可解释的流程。其中的分割模型是基于2.5D模型：训练的时候刻意隐藏了3D长程结构特征，预测时通过长程结构的重构来检验预测结果是否正确。对于肺损伤的增强、radiomics的量化，则是用传统算法（非深度学习）。

Supplementary Fig. 4. 组织的长程结构特征。肺有肋骨造成的沟，血管、气管是树状结构等。训练时刻意隐藏这些长程特征，预测时通过检验3D分割是否具有这些长程特征，来检验是否正确分割。

总结

这是一篇很有特色的医学影像论文。文章从尚未解决的医学问题入手，和医学专家一起，开发了DLPE算法，发现了新冠呼吸系统后遗症与长期肺损伤有很强的关联，是计算机专家和医学专家合作的好例子。DLPE算法也可用于其它肺部CT的分析，比如去掉scan-level bias来增强其它模型的性能等等。

参考资料

L. Zhou et al. “An interpretable deep learning workflow for discovering subvisual abnormalities in CT scans of COVID-19 inpatients and survivors”, Nat. Mach. Intell. (2022). DOI: 10.1038/s42256-022-00483-7

L. Zhou et al., “A Rapid, Accurate and Machine-Agnostic Segmentation and Quantification Method for CT-Based COVID-19 Diagnosis,” in IEEE Transactions on Medical Imaging, vol. 39, no. 8, pp. 2638-2652, Aug. 2020, doi: 10.1109/TMI.2020.3001810.

数据和代码

https://github.com/LongxiZhou/DLPE-method