几个世纪以来,医生都试图借助更好的医疗工具来深入检查病人的身体状况,让他们远离病痛的折磨。CT扫描、3D超声和MRI(磁共振成像)等诊断成像技术在医学上的运用已经帮助挽救了数百万人的生命。如今,GPU及其推动的深度学习技术正在为智能医学仪器打开一扇全新的大门。
智能医学仪器其实都是可运行复杂数学运算的计算机,将传感器捕捉的信号转化为2D和3D图像以供医生读取。医生们除了要求这些仪器可以安全、简便地运行,还希望仪器生成图像的分辨率和保真度能够不断增加。
基于Volta架构的GPU加快处理过程
现在,NVIDIA 新型计算机的开发让医生们的诉求成为可能。凭借大规模并行计算能力,NVIDIA基于Volta架构的GPU能够高速处理信号和成像算法。
在深度学习神经网络处理方面,借助全新的NVIDIA Volta GPU,嵌入式人工智能计算机可以每秒进行 320 万亿次操作,并且运行功耗不超过 500 瓦。这相当于使用 原来1/60 的功耗实现 60 个 CPU 服务器节点的性能。
深度学习、NVIDIA GPU 计算和医学成像的结合开启了智能医疗仪器的新时代。通过使用NVIDIA GPU,众多诊断成像领域的先驱已经在医学成像的各个主要环节取得了令人惊艳的成果。
全新的图像重建深度学习框架
图像重建是将数据采集阶段获取的信号转化为图像的过程。
在过去十年间,人类在信号处理算法方面取得多项进展,不仅提高了重建 CT 图像的质量,还将 X 光的用量减少了将近 80%。GE Healthcare 全新推出的 Revolution Frontier CT 就在使用 NVIDIA GPU 来进行超级计算,用以处理复杂的重建算法。
来自麻省总医院、A.A.Martinos生物医学成像中心和哈佛大学的研究人员开发了一种全新的名为“AUTOMAP”的图像重建深度学习框架。
传统的图像重建需要使用离散变换和各种过滤算法,并在实施时使用手动信号处理。而AUTOMAP 则使用统一的图像重建框架取代了这种方法,无需任何专家知识就可以学习传感器与图像域之间的重建关系。
左边为传统图像重建,右边为AUTOMAP新型框架。资料来源: https://arxiv.org/abs/1704.08841
除了重建外,医学成像的图像处理阶段还包括检查、分类和分割。
用于3D分割的立体卷积神经网络
慕尼黑工业大学、慕尼黑大学和约翰·霍普金斯大学的研究人员开发了一种名为“V-net”的立体卷积神经网络,可执行前列腺 MRI 数据的3D 分割。在此过程中,系统会对需要注意的器官进行划分,对 3D 图像中器官的每个体素进行分类并分配相同的标签。
通过执行立体分割以处理 3D 数据的完全卷积神经网络示意图。资料来源: https://arxiv.org/pdf/1606.04797.pdf
V-net 在描绘前列腺状况的 MRI 图像体上接受端到端的训练,学习一次便可预测整体的分割。V-net 分割图像中会存在数百万个 3D 体素,训练其中每一个体素都需要大量的计算,因此这个团队使用了 NVIDIA GPU。
如今,医生们无需尝试分析多张 2D 图像,仅使用立体渲染即可生成全方位3D图像。通过功能强大的NVIDIA GPU,医生可以从不同角度控制并查看图像,以更好地了解解剖结构的空间关系。
使用电影渲染实现解剖结构可视化
在约翰·霍普金斯大学,Elliot Fishman博士和Siemens的研究人员开发了一种名为“电影渲染”的新方法,使用基于物理性质的光扩散模拟,以生成逼真的人体图像。电影渲染受到了电脑动画电影中使用的计算机绘图和GPU技术的启发,使用全局照明,通过数千条直接和间接光线制作出一张逼真的图像。
电影渲染可以生成逼真的图像,这些图像有可能更准确地描绘解剖细节和复杂的解剖结构。“电影渲染:原理、应用和在 CT 中的观察结果”,Elliot K.Fishman,RSNA 2017 科学展。
通过这些令人惊艳的图像,放射科医生可以识别出细微的纹理变化和周围解剖结构的空间关系。另外,Fishman博士和霍普金斯的团队正在研究深度学习算法是否可以从电影渲染的图像保真度中获得启发。
在过去十年间,诊断成像技术突飞猛进。每年,仅美国便会有数以亿计的成像检查。全球对于医学成像的需求不断飙升,预计到 2020 年这一市场会达到 490 亿美元。
实现新一轮的成果突破
NVIDIA GPU计算和深度学习将带来新一轮的成果突破,提高图像保真度、降低放射量并进一步实现微型化。
通过 NVIDIA GPU,未来的医学成像系统将成为小型人工智能超级计算机。它能够赋予医生超人般的透视能力,让医生即时查找和重点关注需要注意的解剖区域。
早期检测往往是治愈疾病的关键,而这些智能医学仪器正在不断增强早期检测的成效,拯救越来越多人的生命,为人类造福!