Advanced minimally invasive neurosurgery navigation relies mainly on Magnetic Resonance Imaging (MRI) guidance. MRI guidance, however, only provides pre-operative information in the majority of the cases. Once the surgery begins, the value of this guidance diminishes to some extent because of the anatomical changes due to surgery. Guidance with live image feedback coming directly from the surgical device, e.g., endoscope, can complement MRI-based navigation or be an alternative if MRI guidance is not feasible. With this motivation, we present a method for live image-only guidance leveraging a large data set of annotated neurosurgical videos.First, we report the performance of a deep learning-based object detection method, YOLO, on detecting anatomical structures in neurosurgical images. Second, we present a method for generating neurosurgical roadmaps using unsupervised embedding without assuming exact anatomical matches between patients, presence of an extensive anatomical atlas, or the need for simultaneous localization and mapping. A generated roadmap encodes the common anatomical paths taken in surgeries in the training set. At inference, the roadmap can be used to map a surgeon's current location using live image feedback on the path to provide guidance by being able to predict which structures should appear going forward or backward, much like a mapping application. Even though the embedding is not supervised by position information, we show that it is correlated to the location inside the brain and on the surgical path. We trained and evaluated the proposed method with a data set of 166 transsphenoidal adenomectomy procedures.


翻译:现代微创神经外科导航主要依赖核磁共振成像(MRI)引导。然而,MRI指导通常只提供术前信息。一旦手术开始,由于手术引起的解剖学变化程度,MRI引导的价值会在一定程度上降低。使用来自手术设备(例如内窥镜)的实时图像反馈的导航可以补充MRI引导或者如果MRI引导不可行的话可以作为一种替代方法。出于这个目的,我们提出了一种利用大规模的神经外科视频注释数据集的仅基于实时图像的指导方法。首先,我们报道了一种基于深度学习的目标检测方法YOLO在神经外科图像中检测解剖结构的性能。其次,我们提出了一种使用无监督嵌入生成神经外科路线图的方法,无需假定病人之间有精细的解剖学匹配,无需大量的解剖学图谱,也无需同步定位和建图。生成的路线图编码了在训练集中进行的手术中采取的公共解剖路径。在推理过程中,路线图可以用于使用实时图像反馈映射外科医生的当前位置,然后在路径上提供指导,通过能够预测即将出现或回退的结构来提供指导,就好像一个地图应用程序一样。即使嵌入不受位置信息的监督,我们也证明它与大脑内和手术路径上的位置是相关的。我们使用166个经筛窦垂体腺瘤摘除手术的数据集进行了方法的训练和评估。

0
下载
关闭预览

相关内容

专知会员服务
27+阅读 · 2021年10月6日
专知会员服务
18+阅读 · 2021年7月20日
专知会员服务
62+阅读 · 2021年3月12日
【AAAI2021】用于多标签图像分类的深度语义词典学习
专知会员服务
14+阅读 · 2020年12月30日
近期必读的五篇 EMNLP 2020【反事实推理】相关论文和代码
专知会员服务
25+阅读 · 2020年11月23日
强化学习最新教程,17页pdf
专知会员服务
174+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
26+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
28+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
42+阅读 · 2019年1月3日
【推荐】(TensorFlow)SSD实时手部检测与追踪(附代码)
机器学习研究会
11+阅读 · 2017年12月5日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月19日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员