AI医疗开创性研究：深度学习进行病变检索和匹配（31 PPT）

2018 年 4 月 28 日 新智元

新智元专栏

【新智元导读】美国国立卫生研究院（NIH）的研究人员通过创建基于真实放射学影像的大型数据集，进行病变检索和匹配的研究。本文是相关研究在约翰霍普金斯大学 Sol Goldman国际会议上的演讲整理，该研究具有创新性的科学价值和临床价值。

论文地址：

http://www.cs.jhu.edu/~lelu/publication/DeepLesionGraph_CVPR2018_camera_ready.pdf

本文介绍了美国国立卫生研究院（NIH）最新的一篇CVPR论文“Deep Lesion Graphs in the Wild: Relationship Learning and Organization of Significant Radiology Image Findings in a Diverse Large-scale Lesion Database”（深度病变图：在不同的大规模病变数据库中，重要放射学图像发现的关系学习和组织），主要作者是闫柯和王潇崧等研究人员。

对于精准癌症影像诊断和治疗方案的选取，基于内容的retrieval和instance-level相似性的描述是很重要的。人类的癌症有很严重的长尾现象，并不是简单的分类或者regression; mapping X to Y就能很好解决，所以癌症的治疗和诊断本质上最重要的是个性化（personalization）。当有一个新的病人，医生最想知道的是在以前已经治疗过的病人里面有没有谁跟他是相似的。如果能够找出相似的病人，而且知道这些病人的治疗方案以及治疗结果，医生就可以更有针对性地来设计治疗方案。而且通过对相似病人的建模，可以知道每种治疗方案的风险性以及预后效果。

虽然每个大医院都存了上百万甚至上千万的病人数据，但是目前没有很好的办法来做相似性病人的检索。这篇文章的意义是以肿瘤图像（tumor image instance）为例子，打通了一个做这个方向的技术模型。该模型可以允许一个新的肿瘤图像在以前上万的肿瘤图像中检索相似的、而且又比较完整的tumor similarity graph，这对临床工作有很大的帮助。这方面的工作以前非常少，因此这篇文章是比较有前瞻意义的。

该研究的数据涉及4000多个病人的一万多个医学图像。既使在这个数据尺度下，因为计算能力的问题，人是很难做什么的。

计算医学本质上是为了去获取临床医生想要，需要但自己又没办法做到的东西。有的病人会问到大医生如果采取了A治疗方案，预后结果会怎么样，生存率有多高？现在都是基于经验去猜的，也不能定量的计算。这篇文章就是一个很好的例子，来逐步解决这个定量精准医疗的问题。相比之下，大家比较熟悉的肺节节检测问题，是属于另外一类的问题，本来就是医生也可以做，计算的目标是使用深度学习来做辅助诊断，主要以提高医生效率为目的。

这篇文章里面用到了32000多个医生测量过的significant clinical findings,，这些测量结果是放在医院PACS/RIS放射学数据库里面作为定量的references。我们的算法通过pair wise similarity graph可以针对图像分类，包括 intra-patient matching（在同一个病人的多次影像studies中，自动的把以前测量过的同一个肿瘤影像连起来）；并且允许跨病人的、基于图像相似性的检索（inter-patient similarity retrieval）。