【AI与医学】多模态机器学习精准医疗健康

随着机器学习和人工智能越来越频繁地被用于解决医疗的问题，人们越来越有兴趣在临床决策支持中使用它们。这种情况在单模态数据(如电子健康记录数据)中一直存在。在机器学习的计算领域中，通过融合不同的数据，试图改善预测并类似于临床专家决策的多模态特性已经得到了满足。本文对这一领域进行了总结，并确定了未来研究的成熟课题。

我们根据PRISMA(系统评价和荟萃分析首选报告项目)的扩展进行了这项综述，该扩展用于界定健康领域多模态数据融合的特征。采用内容分析和文献检索相结合的方法，建立PubMed、谷歌Scholar和IEEEXplore 2011 - 2021年的检索字符串和数据库。最后一组125篇文章包含在分析中。

使用多模态方法的最常见医学健康领域是神经病学和肿瘤学。然而，目前存在广泛的应用。信息融合最常见的形式是早期融合。值得注意的是，执行异构数据融合的预测性能得到了提高。这些论文缺乏明确的临床部署策略和FDA批准的工具。

这些发现提供了多模态数据融合应用于健康诊断/预后问题的当前文献的指南。很少有论文将多模态方法的结果与单模态预测进行比较。然而，那些成功的预测精度(AUC)平均提高了4.2%。多模态机器学习虽然在估计方面比单模态方法更稳健，但在可扩展性和信息连接耗时方面存在缺陷。