初创公司利用深度学习工具帮助骨科医生手术

一位骨科医生正在进行ACL手术 (美国空军一等兵Kevin Tanenbaum摄)

传统的手术往往需要较大的切口，以便让医生拥有对手术区域更广阔的视野。但外科医生越来越倾向于采用微创技术，这种技术依赖于微型摄像机的实时视频传输，除了切口变小之外，摄像机提供的视野也更加有限。

当然，对病人的好处显而易见，减少病患的失血，减轻疼痛并且恢复时间也更快。然而，微创手术对外科医生的技术要求更高，因为他们必须在狭窄的视野下操作，使用需要精细操作技巧的小器械。

为了给外科医生提供帮助，总部位于旧金山的初创公司Kaliber Labs正在开发人工智能模型，以实时传送这些视频内容。

该公司的深度学习模型可以识别和测量病人的病理情况，并在手术室视频显示器上显示关键信息和治疗建议。

 “手术由一系列步骤组成，” Kaliber实验室的创始人兼首席执行官 Ray Rahman说。“我们在整个过程中为外科医生提供人工智能指导，降低他们的认知负荷，提高准确性，减少不确定性。”

这家初创公司还在开发一种深度学习模型，可以在手术后对手术视频进行注解，从而更好地与患者沟通，提高透明度。

它的人工智能模型——使用Keras、PyTorch和TensorFlow深度学习框架开发——在具有Tensor Core的NVIDIA RTX GPU上进行训练和测试，将训练时间缩短了5倍以上。

为了开发在手术室中处理实时视频输入的工具，Kaliber实验室使用JetPack SDK和NVIDIA Jetson TX2 AI计算设备进行边缘推理。该团队计划将其部署的产品运行在NVIDIA Jetson AGX Xavier上，从而实现实时处理所需的低延迟。

在手术室里安装人工智能

在微创骨科手术中，外科医生依靠视频监视器来查看手术区域。(美国空军一等兵Kevin Tanenbaum摄)

Kaliber实验室目前的人工智能工具主要用于骨科手术，包括肩部、膝盖、臀部和手腕的手术。关节镜或微创关节手术是最常见的骨科手术，用于治疗许多疾病和运动损伤。

在手术开始时，Kaliber实验室的深度学习工具会使用视频来识别正在进行的手术类型和正在使用的摄像机视图。然后，针对不同过程类型的AI模型来进行实时指导。

外科医生首先要对病人的解剖和病理进行初步评估，然后再决定手术的步骤。这家初创公司的模型在这个过程中提供了帮助，结合计算机视觉算法来识别和测量，例如，在这个过程中，肩窝或肩胛盂有20%的骨缺损。

这样的实时定量分析为骨科医生在手术中的决策提供了更大的客观性和额外的洞察力。

到目前为止，Kaliber实验室已经完成了肩部手术算法的开发，并正在开发膝盖和臀部手术的模型。它的深度学习工具是针对数千小时的实际手术视频进行训练的，这些视频首先由人工智能算法处理，该算法会删除视频中的任何有关病人和外科医生的个人身份信息。

这家初创公司最近与一家大型医疗设备公司签署了一项协议，将建造一台Jetson Xavier驱动的AI边缘机器，该机器可以与手术室设备集成，提供术中指导。Rahman说，为了在手术过程中实时工作，边缘的GPU是必不可少的。

 “我们运行一系列的模型来X检测解剖学和病理学，以及各种测量算法，” 他说。“由于我们在做实时视频推理，我们的推理必须在不到30毫秒的时间内完成，以避免外科医生察觉到延迟。”

NVIDIA Jetson平台结合了GPU高计算性能和低功耗，支持边缘计算。Kaliber实验室选择了Jetson Xavier嵌入式模块，因为它占用空间小，而且系统集成的选择范围广，Rahman说。

该初创公司在Jetson Xavier上运行的CNN二进制分类模型为使用NVIDIA TensorRT软件进行推理而优化，仅有1.5毫秒的延迟率。

手术后视频分析

手术后，患者通常会收到外科医生的简短汇报，这对患者很有价值。

Kaliber实验室正在开发一套人工智能模型，用于分析和标注手术视频，并描述手术过程中的每一步。对那些对手术感到好奇的人来说，为病人提供带注释的手术录像可能会很有用，还能提高手术过程的透明度。

这种手术记录也有助于准确的医疗编码和计费。“病人和他们的家人想知道外科医生做了什么，他们在手术过程中看到了什么，” Rahman说，“但没人会有时间手动标注整个手术的关键快照。”这些照片或视频片段有限，将花费数小时甚至数天的时间，而且代价高昂。”