Gemini多模态医疗能力

许多临床任务需要理解专业数据，如医学影像和基因组数据，这些数据通常不包含在通用的大型多模态模型中。基于双子星的多模态模型，我们开发了新的Med-Gemini系列模型，这些模型继承了双子星的核心能力，并通过与2D和3D放射学、组织病理学、眼科、皮肤科和基因组数据的微调，为医疗用途进行了优化。Med-Gemini-2D为基于专家评估的AI驱动的胸部X光（CXR）报告生成树立了新标准，其在两个独立数据集上的表现超过了之前的最佳结果，绝对优势分别为1%和12%，其中57%和96%的AI报告在正常案例中，以及43%和65%的AI报告在异常案例中，被评估为“与原始放射科医师的报告相当或更好”。我们展示了首个基于大型多模态模型的3D计算机断层摄影（CT）体数据报告生成，使用Med-Gemini-3D，53%的AI报告被认为在临床上可接受，尽管还需要进一步的研究以达到专家放射科医师的报告质量。在报告生成之外，Med-Gemini-2D在胸部X光视觉问答（VQA）中超越了之前的最佳表现，并在胸部X光分类和放射科VQA中表现良好，超越了20个任务中的17个的现有技术或基准。在组织病理学、眼科和皮肤科影像分类中，Med-Gemini-2D在20个任务中的18个超越了基线，接近特定任务模型的表现。在影像学之外，Med-Gemini-Polygenic在疾病风险预测中超过了标准的线性多基因风险评分方法，并能推广到从未训练过的基因相关疾病。尽管在关键医疗领域需要进一步的开发和评估，我们的结果突显了Med-Gemini在广泛的医疗任务中的潜力。

https://www.zhuanzhi.ai/paper/bc65b01ad1b8e0ddec8f98eac621daa7