医疗+AR将颠覆和改变什么?看了这近十个案例你就有答案

2017 年 12 月 17 日 AR酱 丸子酱

根据Cision的数据,在2025年,全球的AR和VR医疗保健市场将达到51亿美元。医生尤其外科医生将会越来越多地将AR和VR用于医疗当中。今天我们就来聊聊AR+医疗。


AR可以增强外科医生的视力


对于外科医生来说,手术中更多的可视性是十分珍贵的。


过去几年里,外科医生进行开放式脊柱外科手术时,往往需要大的切口,医生通过肉眼看到并触摸患者的脊柱。近来,这种 " 开放手术 " 转向侵入性较小的微创手术,后者可以更好地减少失血和软组织损害、术后疼痛。不过,由于切口变小,限制了可见性,所以外科医生需要实时成像和导航系统来 " 监视 " 患者的内部情况。


Scopis公司通过整合微软HoloLens的能力,加上剑桥和他们在柏林的手术导航平台,开发了全息导航平台。并将其运用于脊柱手术当中。


 


通过一副Hololens眼镜,外科医生可以看到预先规划好的螺钉的3D覆盖图,使外科医生能够将他们的仪器与图像对齐,并更快的找到合适的位置来放置椎弓根螺钉,其螺钉装置的整体精度比人工放置更高(85% vs 64%)。


 

柏林Humboldt医院脊柱外科主任Christian Woiciechowsky认为这项技术使手术更“有效、安全、准确”。 同时作为一种通用的解决方案,这项技术不仅为脊柱手术提供了优势,也可以应用于其他要求高精度和高速度的重要领域。例如,在神经外科,可以使脑肿瘤的定位更加迅速。


AR帮助医生可视化患者患处


传统方法中,医生依靠X射线、CT、核磁共振和其他的成像技术,配合他们自身的知识和经验来了解患者的身体并制定手术方案。


然而,这类技术并不完美。例如X射线,可能会歪曲器官并扭曲实际的身体。并且这一类成像都是2D图像,只有经过大量的学习和经验才能分辨其所表达的空间关系。对于普通的手术,这样的图像已经够用了。当遇到复杂的情况时,我们的想象力很难捕捉到所有错综复杂的身体。


AR和VR可以用100%比例的3D模型显示器官来帮助医疗人员进行手术和培训。


 

六月时,伯明翰城市大学数字媒体技术实验室(DMT Lab)公布了他们正在开发的医疗MR新系统,可以帮助医生可视化患者身体,并能使用徒手动作与虚拟模型进行交互来查看患者各项身体数据。


 

该系统允许用户使用手部动作和手势操纵,导航和演示患者数据,以便医生可以使用定制的3D虚拟模型来直观展示医疗程序和治疗效果。比如手术区域,治疗后的改善,或者烟草带来的伤害。

 


伯明翰城市大学的Ian Williams博士说:“这个系统真正的优势是能够用虚拟模型来可视化地展示解剖部位,并可以为每个病人定制虚拟模型,来显示在治疗或手术后的改变。”


这种可视化方案,在多医生会诊的复杂病情下,显得尤为重要。


AR解放了医生的眼睛和双手


在去年,香港威尔斯亲王医院的整形外科医师Catherine Chan尝试利用AR技术解决在微创手术中医生最大的难题——必须在手中同时看两个显示屏。

 

前年,她被派往伦敦帝国理工学院进修医疗机器人技术与影像引导介入治疗的硕士课程。她所使用的AR软件,就是由帝国理工学院所编程的。



拿检查肝脏是否有恶性肿瘤为例,医生必须用一个超声波探测器去检查内部。两个摄像头中,一个是普通摄像头,记录肝脏表面,另一个则是超声波的黑白影像。利用AR,将超声波图像投射到普通摄像头画面上,使得医生在手术中注意力可以更加集中。


在去年七月,卫生部直属的教学医院复旦大学附属中山医院就利用HoloLens辅助进行了复杂性肝癌肝切除手术。


“AR技术可以帮助医生在手术过程中实时获取各种必要的信息,包括MRI(核磁共振)和CT等影像设备的检查结果,这样在手术过程中遇到不确定的情况时,医生们可以更精确的及时调整手术方案。”复旦大学附属中山医院院长樊嘉教授在接受采访时表示。



通过Hololens眼镜可以清晰地看到360度三维立体的人体内脏情况布局、血管分布的情况。同时,在手术中医生还可以随时调阅与病人病情相关的一切影像检查结果资料。当开腹后医生发现实际病灶和预期有不同时,可以根据调阅的这些电脑资料随时调整手术方案。对于危及生命的患者,每一秒都十分重要,所以直接获取信息是至关重要的。

 


AR改善医疗教学培训


在今年年初微软社会自然用户界面研究中心联合墨尔本大学利用RoomAlive技术开发了AR医疗教育系统——“Augmented Studio”项目。


利用RoomAlive技术将人体骨架和肌肉模型投影到人身上,并能追踪人的运动。


 


医生还可以实时标注患处



不过是两组投影仪和Kinect,就可以将抽象的课堂变得易于理解。



不仅如此,完成2000万美元融资的伦敦初创公司Touch Surgery,计划利用这笔资金发布一款AR工具Go Surgery,辅助医学生培训。


 

Touch Surgery成立于2013年,其应用程序为外科手术提供了数百个教学视频。



在新应用Go Surgery上,将会利用HoloLens提供全息指南,进行手把手的手术教学。其已经在英国和美国的医院完成测试,计划于2018年上市。


 

搭乘苹果ARKit的东风,Touch Surgery更新了自家应用。现在也可以通过iPhone或者iPad将真实手术画面投影出来。


 


因为能够有效削减成本,医学培训被认为是AR最有前景的领域之一,也可以解决医学解剖培训尸体源的紧张问题。


同时AR和VR还能提高学习效率。传统方法,医学生一般都是通过2D来了解肌肉和关节的构造,这就需要他们有较强的三维分析能力。研究表明,人的大脑对立体和运动更加敏感,这也就是为什么我们发现3D比2D更加容易理解和消化。


凯斯西储大学西医院院长 Pamela Davis表示:“学生表示,用HoloLens进行15分钟的会议可以节省他们在尸体实验室的数十个小时。”


还有一款医学AR应用——Project Esper,由3D4Medical开发。




Project Esper是一款医学参考应用,可以显示11个系统和包括男性和女性在内的8200个解剖结构。


 


可以把虚拟模型放置在任何地方,还可以使用平面工具切开某些结构。



这样医学生在宿舍也可以自己模拟解剖的过程。

 

AR提升医疗服务质量


抽血化验和静脉注射几乎是每次看病的标配,然而数据显示,30%的患者第一次不能正确的找到静脉。利用AccuVein则可以解决这个问题。


AccuVein是一款近红外设备,由于静脉中含有大量的脱氧血红蛋白,能够吸收近红外光,并且该设备能感受到这些信息并投射出影像,帮助护士轻松找出血管。

 


AccuVein已经在美国3000家医院中使用,使患者痛苦减少39%,根据调查93%的患者对于这种设备表示满意,认为该设备使其更加舒适。


问题与挑战


在1950年,医学知识和研究数量每50年翻一倍。2010年,翻倍时间为3.5年。预计到2020年,翻倍时间仅仅为73天。仅靠传统方法,医疗人员很难跟进如此之快的知识更新。各地医院对AR做出的尝试让我们看到了好的进展,可是其中的缺陷也十分明显。

 

首先是精度的问题。医疗行业需要超高精度、准确,不过受限于技术,智能眼镜存在影响观看清晰度不够,细节严重丢失的情节。


然后是其较为笨重的设备,其重量对于医生来说是较大的负担,无法在手术全程使用。此外他的续航能力只有3~4小时,无法支持完成时间较长的手术。


其次是经费的问题。例如HoloLens高昂的费用(20000+)使得没有几家医院能大量配备。学校也很难给学生配齐智能眼镜进行教学。


但在完美的医疗AR设备出来之前,我们也有一些过渡性的方案,例如“Augmented Studio”的费用相对便宜很多,大约只要1000美金,并且一个设备可以满足多个学生的教学任务,同时利用ARKit开发的各种AR医学程序对于医学生来说是一个福音。


总而言之,AR技术的确会让手术变得更“有效、安全、准确”,不过目前还不是一个十分成熟的技术,还需要时间去进行沉淀,但是惠及普通患者和医疗从业人员的AR,相信一定不会太远。


阅读推荐

远见AR,愿这个世界,在每一个人眼中都清晰可见

《Father.IO》Inceptor终于发货啦,“AR吃鸡”指日可待

迪士尼公布新研究成果,让AR对象同环境更好交互

登录查看更多
1

相关内容

增强现实(Augmented Reality,简称 AR),是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术,这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
AI创新者:破解项目绩效的密码
专知会员服务
33+阅读 · 2020年6月21日
【经典书】Python数据数据分析第二版,541页pdf
专知会员服务
193+阅读 · 2020年3月12日
安全和健壮的医疗机器学习综述,附22页pdf
专知会员服务
46+阅读 · 2020年1月25日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
医疗知识图谱构建与应用
专知会员服务
384+阅读 · 2019年9月25日
鼠标终将消失,未来我们有哪些人机交互方式?
人工智能学家
5+阅读 · 2018年11月25日
人工智能与机器学习技术在医疗保健行业中的应用
深度学习与NLP
11+阅读 · 2018年3月25日
苦尽甘来:AI为更有效地治疗抑郁症带来希望
英伟达NVIDIA中国
10+阅读 · 2018年3月1日
无人零售的正确打开方式,到底是什么?
黑智
3+阅读 · 2018年1月22日
【区块链】区块链是什么?20问:读懂区块链
产业智能官
8+阅读 · 2018年1月10日
【智能医疗】如何利用深度学习诊断心脏病?
产业智能官
8+阅读 · 2017年10月3日
已删除
将门创投
6+阅读 · 2017年7月6日
Arxiv
8+阅读 · 2019年3月21日
Arxiv
4+阅读 · 2018年5月14日
Arxiv
6+阅读 · 2018年2月26日
VIP会员
相关VIP内容
AI创新者:破解项目绩效的密码
专知会员服务
33+阅读 · 2020年6月21日
【经典书】Python数据数据分析第二版,541页pdf
专知会员服务
193+阅读 · 2020年3月12日
安全和健壮的医疗机器学习综述,附22页pdf
专知会员服务
46+阅读 · 2020年1月25日
模型压缩究竟在做什么?我们真的需要模型压缩么?
专知会员服务
27+阅读 · 2020年1月16日
医疗知识图谱构建与应用
专知会员服务
384+阅读 · 2019年9月25日
相关资讯
鼠标终将消失,未来我们有哪些人机交互方式?
人工智能学家
5+阅读 · 2018年11月25日
人工智能与机器学习技术在医疗保健行业中的应用
深度学习与NLP
11+阅读 · 2018年3月25日
苦尽甘来:AI为更有效地治疗抑郁症带来希望
英伟达NVIDIA中国
10+阅读 · 2018年3月1日
无人零售的正确打开方式,到底是什么?
黑智
3+阅读 · 2018年1月22日
【区块链】区块链是什么?20问:读懂区块链
产业智能官
8+阅读 · 2018年1月10日
【智能医疗】如何利用深度学习诊断心脏病?
产业智能官
8+阅读 · 2017年10月3日
已删除
将门创投
6+阅读 · 2017年7月6日
Top
微信扫码咨询专知VIP会员