Nature Medicine | 多模态的生物医学AI

编译 | 侯琳琳 审稿 | 程志祥 今天为大家介绍的是来自Julián N.Acosta和Guido J.Falcone的一篇关于多模态生物医药AI的综述。目前大多数人工智能在医学上的应用都是使用单模态数据来处理特定的任务，例如计算机断层扫描显像(CT)和视网膜图像。相比之下，临床医生在诊断、进行预后评估和决定治疗计划时，会处理来自多个源的多模态的数据。在这篇综述中，作者探索了多模态数据在个性化医疗、数字临床试验、远程监测和护理、流行病监测、数字孪生技术和虚拟健康助手方面可能的应用，并介绍了相关的数据、建模和隐私挑战以及克服这些挑战有前途的策略。

利用多模态数据的机会

图一：多模态生物医学AI的数据模态和机会

针对精准健康的个性化“组学” 随着测序在过去二十年中的显著进步，使用新的技术获得的细粒度生物数据的数量越来越多。这些统称为“组学”数据，包括基因组、蛋白质组、转录组、免疫组、表观基因组、代谢组和微生物组。

整合这些截然不同的组学数据仍然具有挑战性。然而，克服这一问题至关重要，因为它有望进一步加深我们对人类健康的了解，并允许制定精确和个性化的预防、诊断和治疗战略。研究人员已经提出了几种在精确健康背景下整合多组学数据的方法。图神经网络是一个例子，它是处理计算图的深度学习模型，允许科学家考虑多种类型的组学数据的已知相互关联的结构。另一种方法是降维，包括PHATE和多尺度PHATE等新方法，它们可以学习不同粒度级别的生物和临床数据的抽象表示，并已被证明可预测临床结果。

数字化临床试验 随机临床试验是在临床医学中使用新的诊断、预后和治疗干预措施的金标准研究设计。但是，计划和执行高质量的临床试验耗时且非常昂贵。此外，参与者的地理、社会文化和经济差异，导致在这些研究中有几个群体的代表性明显不足，这限制了结果的普遍性。临床试验数字化可以通过减少参与者登记和保留的障碍、促进参与度和优化试验测量和干预措施，为克服这些限制提供前所未有的机会。

来自可穿戴技术(包括心率、睡眠、体力活动、心电图、血氧饱和度和血糖监测)和智能手机支持的自我报告问卷的数据可用于监测临床试验患者、识别不良事件或确定试验结果。数字临床试验可以利用参与者的多个来源的数据实现自动表型和分组。

远程监控：“家中医院” 生物传感器、持续监测和分析的最新进展增加了在一个人家里模拟医院环境的可能性。这将降低成本，减少对医疗人员的要求，避免医院感染和医疗差错。

来自可穿戴传感器和环境传感器的多模态数据的集成有望改善远程患者监测，一些研究已经证明了多模态数据在这些场景中的潜力。例如，环境传感器(如深度相机和麦克风)与可穿戴设备 (例如测量身体活动的加速计) 数据相结合，有可能提高跌倒检测系统的可靠性。

传染病监测和爆发检测 当前的COVID-19大流行突出了进行有效传染病监测的必要性，一些国家成功地整合了来自移民地图、移动电话使用率和卫生服务数据的多模态数据，以预测疫情的传播并确定潜在病例。多模态人工智能模型在大流行病防备和应对方面的能力已得到测试，结果令人满意，但还需要进一步验证和复制这些结果。

数字双胞胎 目前，我们依靠临床试验确定成功干预措施。100人中或许只有10人的干预措施被认为是成功的。一种被称为“数字双胞胎”的补充方法可以通过利用大量数据来建模并高精度预测特定的治疗干预对特定患者有益或有害。

在精准肿瘤学和心血管健康领域，集成来自多个来源的数据，使用人工智能工具开发数字双胞胎模型已经被提出。考虑到人类有机体的复杂性，医学上精确和有用的数字双胞胎技术的发展将取决于收集大量和多样化的多模态数据的能力，从组学数据和生理传感器到临床和社会人口数据。这可能需要跨卫生系统、研究小组和行业的大规模合作。

虚拟健康助手 虚拟健康助手可以就人们的健康需求提供建议，但迄今尚未得到广泛开发。目前市场上的虚拟健康助手往往针对特定的条件或用例，如用于糖尿病护理的虚拟健康助手。展望未来，人工智能模型中多个数据源的成功集成将促进个性化虚拟健康助手的发展。这些虚拟健康助手可以利用基因组测序、其他组学、血液生物标记物、代谢物、生物传感器和其他相关生物医学数据，促进行为改变、回答与健康相关的问题、对症状进行分类或在适当时与医疗保健提供者进行沟通。

多模态数据的收集

表一：可用多模态数据的研究实例

成功开发多模态数据支持的应用程序的第一个要求是收集、管理和协调大型注释数据集，因为再复杂的技术也无法派生出数据中不存在的信息。相关的研究，例如UK Biobank于2006年开始注册，最终参与者人数超过50万，并计划在注册后跟踪参与者至少30年。这个大型生物库从参与者那里收集了多层数据，包括社会人口统计和生活方式信息、身体测量、生物样本、12导联心电图和EHR（电子健康记录）数据。其他国家也开展了类似的活动，如China Kadoorie Biobank和Biobank Japan等等。

这些数据集中的多模态数据的可用性可能有助于在一系列不同的任务中实现更好的诊断性能。例如，最近的工作表明，在识别肺栓塞和区分急性呼吸衰竭的常见原因(如心衰、肺炎或慢性阻塞性肺疾病)方面，影像学和电子病历数据的结合优于单独的每种模式。

技术挑战

图二：多模态人工智能中的新技术概念的简要说明

实现和建模的挑战 多模态学习框架能够从不同模态的数据中学习，而不需要不同的模型架构。理想地，统一的多模态模型将结合不同类型的数据(图像、生理传感器数据以及结构化和非结构化文本数据等)，为跨模态的类似概念产生对齐的表示(例如，狗的图片，并且单词‘狗’应该产生类似的内部表示)，并提供任务所要求的任意类型的输出。

在过去的几年里，已经从应用于特定模态的架构--例如用于图像的卷积神经网络，或用于文本的循环神经网络--过渡到Transformer这一相对新颖的架构，该架构已经在各种输入和输出模态和任务上显示出良好的性能。Transformer的一个很有希望的方面是能够用未标记的数据学习有意义的表示，这在生物医学人工智能中是至关重要的，因为获得高质量标记所需的资源有限且昂贵。

在生物医学人工智能的设置中，数据可能并不容易获得。这一问题的一个可能的解决方案是利用一种模态的可用数据来帮助使用另一种模态进行学习，这是一种称为“共同学习”的多模态学习任务。例如，一些研究表明，对未标记的语言数据进行预训练的Transformer可能能够很好地推广到其他任务。在医学方面，一种名为“CycleGans”的模型架构，它用非配对的非对比或对比CT扫描图像进行训练，被用于生成非对比或对比CT扫描图像。

另一个重要的建模挑战与多模态健康数据中包含的极高数量的维度有关，统称为“维度诅咒”。随着维度数量的增加，携带这些特征的某些特定组合的人的数量减少，从而导致数据集盲点，即特征空间的一部分没有任何观测。这些数据集盲点可能会损害模型在现实生活预测方面的性能。可以使用几种策略来缓解这一问题。第一种，使用最高性能的任务收集数据(例如，用于运动控制的快速手指敲击，而不是日常运动中被动收集的数据)。第二，确保大而多样的样本量(即条件与模型临床部署时预期的条件相匹配)。第三，使用领域知识指导特征工程和选择，适当的模型训练和正则化，严格的模型验证和全面的模型监测(包括监测训练数据和部署后发现的数据之间的差异)。展望未来，开发能够整合先前知识的模型(例如，已知的基因调控途径和蛋白质相互作用) 可能是克服维度诅咒的另一种有希望的方法。

在多模态学习中，组合来自不同模态的数据的过程被称为“多模态融合”，这不是简单地将几个模态分别输入到模型中。不同数据模态的融合可以在该过程的不同阶段进行。最简单的方法包括在任何处理之前串联输入模态或特征(早期融合)。虽然简单，但这种方法并不适用于许多复杂的数据模态。一种更复杂的方法是在训练过程中组合并共同学习这些不同模态的表示(联合融合)，允许特定于模态的预处理，同时仍然捕获数据模态之间的相互作用。最后一种方法是为每种模态训练单独的模型，并结合输出概率(后期融合)，这是一种简单而稳健的方法，但错过了从模态之间的相互作用中提取信息的机会。

与多模态模型相关的许多其他重要挑战仍然存在。对于一些模态(例如，三维成像)，即使只使用单个时间点的模型也需要很大的计算能力，而同时处理大规模组学或文本数据的模型是一个重要的基础挑战。

数据的挑战 支撑健康的多维数据在收集、链接和注释这些数据方面带来了广泛的挑战。医学数据集可以沿着多个轴进行描述，包括样本大小、表型分析的深度、随访的时间和间隔、参与者之间的互动程度、参与者的异质性和多样性、数据的标准化和协调程度以及数据来源之间的关联度。

数据的挑战有以下几个方面。第一，生物医学数据集的多样性至关重要，因为它是确保推广到更广泛人群的第一步。第二，多模态人工智能的一个必要步骤是将数据集中可用的所有数据类型适当地联系起来，这是另一项挑战。第三，是丢失数据的比例通常很高。虽然在某些情况下，在训练前简单地排除有缺失数据的患者是一种选择，但当其他因素影响缺失数据时，可能会出现选择偏差，而且通常使用统计工具来弥补这些缺失更合适，例如多重插补。第四，在进行收集健康数据的研究时，会有引起几种偏见的风险，需要采取多种方法来监测和减轻这些偏见。

隐私的挑战 多模态人工智能在健康领域的成功发展需要数据的广度和深度，这包含了比单一模态人工智能模型更高的隐私挑战。研究人员提出和探索了多种技术解决方案，以确保在训练多模态人工智能模型的同时确保安全和隐私，包括差异隐私、联邦学习、同态加密和群学习。

此外，边缘计算也可以用于保护隐私。与云计算相反，边缘计算指的是让计算更接近数据来源的想法(例如，接近环境传感器或可穿戴设备)。与联邦学习等其他方法相结合，边缘计算通过避免将敏感数据传输到中央服务器来提供更高的安全性。

结论

多模态医疗AI开启了医疗保健领域的关键应用，除了这里描述的机会之外，还有许多其他机会，例如药物发现领域。虽然我们解决了使用多模态人工智能的许多重要挑战，但本综述范围外的其他挑战也同样重要，包括假阳性的可能性以及临床医生应该如何向患者解释风险。

目前我们数据分析方面做的不如整理和存储这些数据方面好。为了有意义地处理这样的高维数据并实现许多令人兴奋的用例，将需要医学界和人工智能研究人员的共同努力来构建和验证新的模型，并最终展示它们对改善健康结果的效用。 参考资料

Acosta, J.N., Falcone, G.J., Rajpurkar, P. et al. Multimodal biomedical AI. Nat Med (2022). https://doi.org/10.1038/s41591-022-01981-2