新型摄像头受蝴蝶眼睛启发,有助改善图像引导的癌症手术!

2018 年 4 月 7 日 IntelligentThings John

导读


近日,美国伊利诺伊大学厄巴纳-香槟分校的研究团队设计出一种模仿蝴蝶视觉系统的摄像头,它不仅为外科医生提供了传统的彩色图像,还提供了近红外图像,从而使得荧光标记的癌细胞能在明亮的手术灯下可见,有助于外科医生改善图像引导的癌症手术。


背景


大自然中的许多生物,天生地具有非常精妙的视觉系统,其中有些功能是人眼所无法企及的。例如,昆虫及甲壳类等节肢动物复眼系统,它由许多的小眼面组成,每个小眼面都可以独立感光,分辨明暗及颜色。



(图片来源于:维基百科)


作为一项仿生学技术,复眼技术已应用到运动目标监测、武器研究、机器人视觉系统等诸多领域。比如,德国弗劳恩霍夫研究院受昆虫复眼启发,研制出“小眼视觉”摄像头,有望使得智能手机的摄像头变得更薄。



(图片来源: Fraunhofer IOF)


另外,美国斯坦福大学的研究团队受到昆虫复眼启发,微型钙钛矿太阳能电池单元组织在一起,形成一种蜂窝状结构,防止钙钛矿材料受到湿、热或者机械应力影响时性能出现退化,提高了钙钛矿太阳能电池的稳定性和耐用性。


(图片来源:Dauskardt Lab/斯坦福大学)


再例如
偏振光导航功能,蚂蚁、蜜蜂、蟋蟀和候鸟等动物都有偏振光视觉系统,可利用太阳光在大气中散射的偏振特性进行导航。昨天,笔者刚刚为大家介绍过一个模仿皮皮虾眼睛的新型相机,它可以在水下采集偏振光信息,为水下导航定位以及海洋动物的迁徙行为,开启新的可能性。


(图片来源:维基百科)


今天,让我们将目光转移到一种新的动物:蝴蝶,它具有与生俱来的错综复杂的视觉系统,它们的视域更加宽阔,擅长感知快速移动的物体,能够辨别紫外线、近红外线和偏振光。


(图片来源:维基百科)


创新


近日,美国伊利诺伊大学厄巴纳-香槟分校( University of Illinois at Urbana-Champaign的研究团队设计出一种模仿蝴蝶视觉系统的摄像头,它不仅为外科医生提供了传统的彩色图像,还提供了近红外图像,从而使得荧光标记的癌细胞能在明亮的手术灯下可见。


(图片来源:Alex Jerez Roman 和 Jose Luis Vazquez)


研究团队领头人 Viktor Gruev 表示:“我们并不是将商用的光学器件和传感器放到一起,做成一个用于图像引导手术的摄像头,而是从大自然的视觉系统中汲取灵感。大闪蝶(morpho butterfly)的眼睛具有能感知多光谱信息的纳米结构,可以同时获取近红外和彩色信息。 ”


在美国光学会的高影响力研究杂志《Optica》上,研究人员演示了他们的生物启发摄像头可用于检测动物的肿瘤,并可用于评估人体的乳腺癌阶段。即使是在标准的手术室照明条件下,这种新型摄像头的荧光检测能力也非常灵敏。它的重量不及一节AA电池,制造成本约20美元。


技术


Gruev 表示:“在手术期间,最重要的是保证所有癌变组织都被切除。我们设计了一种成像平台,帮助全世界任何医院的外科医生达到这一目标,因为这个成像平台小型、紧凑、便宜。尽管我们在仪器侧作了处理,但是我们的技术还需要针对肿瘤并批准用于人体的荧光标记物,从而达到更广泛的应用。其中一些正在进行临床试验,所以我们不久将看到该领域的进展。”


这种新型摄像头在现有摄像头基础上进行了大幅改善,已经得到了美国食品和药品管理局(FDA)的批准,在手术期间用于观测荧光标记物。许多现有的近红外摄像头,在手术环境中,检测荧光标记物的灵敏度不够,所以为了观测荧光标记物,室内灯光必须调暗。


现有的红外成像设备还有另外一个问题,就是荧光图像不一定与被拍摄的组织精准对齐,或者说配准。之所以发生这种情况,是因为FDA批准的仪器使用多个光学元件,例如分束器和中继镜,将可见光与红外光分开,让每一束光可以发送到独立的检测器上。室内轻微的温度变化会影响这些仪器中的光学元件,引起图像错位。这种图像错位将导致外科医生错过肿瘤组织,而不必要地切除健康组织。


伊利诺伊大学厄巴纳-香槟分校的博士后研究员、论文的领导作者 Missael Garcia 表示:“我们意识到,现有的红外线成像仪所存在的问题,可以通过采用这种与大闪蝶中相似的纳米结构来改善。它们的复睛包含相互紧挨着的光感受器,每个光感受器都能通过天生的配准,感知不同波长的光线。”


这种新型摄像头非常类似蝴蝶的眼睛,让不同的纳米结构交织在一起,变成光感受器阵列,使得采用一个成像设备就可以采集彩色和近红外荧光信息。探测器和成像元件被集成到单个单片集成传感器中,保证了设备的小型化、便宜以及不易受温度变化影响。


(图片来源:参考资料【2】)


这种设计通过让每个像素吸收构建图像所需的光子量,独特地解决了灵敏度问题。它们不需要花费很长时间制造可见光波段的图像,用于观看人体解剖结构,因为实验室的可见照明非常强。从另外一方面说,因为荧光非常微弱,所以需要花费更长的时间采集足够的光子量,构建足够明亮的图像。通过改变感光时间,让每个像素探测它所需的光子数量,在创建一幅明亮的荧光图像的同时,不会使组织的彩色图像过度曝光。


研究人员采用一个具有原发性乳腺癌的老鼠模型测试了他们的新仪器。这意味着癌症生长的确切位置以及癌细胞的数量都是未知的。采用绑定癌细胞的荧光标记,研究人员展示了他们的生物启发成像器,能带来高精度和高灵敏度的肿瘤检测,超越FDA批准用于图像引导手术的最先进的红外摄像头。


美国圣路易斯市华盛顿大学医学院的11名乳腺癌患者身上,研究人员也测试了他们的红外摄像头辨别淋巴结的能力。因为淋巴结是乳腺癌扩散的首要地点之一,外科医生检测它们以判断癌症的阶段。患者被注入FDA批准的吲哚青绿荧光染料,它被动地在淋巴结中堆积,然后来自生物启发成像仪的荧光图像会在屏幕上显示出来,或者被投影到外科医生使用的护目镜上。


Gruev 表示:“我们展示了,在明亮的手术光线下,我们设备的灵敏度比目前批准用于红外线图像引导的手术所用的成像仪,对于荧光的灵敏度要高1000倍。因为生物启发的成像仪能够揭示组织深处的荧光,所以它加速了淋巴结的辨别,帮助外科医生找到单靠肉眼眼力无法看到的淋巴结。”


价值


这种新型摄像头设计有助于外科医生移除所有癌细胞,而不损伤健康组织,降低癌症扩散的可能性,并减少手术次数。


据研究人员称,生物启发的成像仪可用于切除各种癌症,包括黑素瘤前列腺癌、头颈癌。因为它的体积小,所以也可集成到内窥镜中,比如在结肠镜检查期间查找癌症。


Garcia 表示:“我们仪器的一大优势就是它紧凑的尺寸。我们在空间很小的医院中测试了我们的仪器,并且发现它不会干扰外科手术流程。”


研究人员现在正在创办一个创业公司对于他们的生物启发的成像仪进行商业化,并与FDA合作设计一个临床试验,让外科医生可以将新型成像仪作出的临床决策与那些FDA批准的成像仪所作的临床决策进行比较。


关键字


光学仿生学摄像头癌症


参考资料


【1】https://www.osa.org/en-us/about_osa/newsroom/news_releases/2018/new_camera_inspired_by_butterfly_eyes_improves_ima/

【2】M. Garcia, C. Edmiston, T. York, R. Marinov, S. Mondal, N. Zhu, G. P. Sudlow, W. J. Akers, J. Margenthaler, S. Achilefu, R. Liang, M. A. Zayed, M. Y. Pepino, V. Gruev,. A bio-inspired imager improves sensitivity for near-infrared fluorescence image-guided surgery. Optica, 2018 DOI: 10.1364/OPTICA.5.000413




了解更多前沿技术文章,请点击“阅读原文”。咨询和交流,请联系微信:JohnZh1984

登录查看更多
0

相关内容

伊利诺伊大学厄巴纳-香槟分校(University of Illinois at Urbana-Champaign,缩写为UIUC),创建于1867年,位于伊利诺伊州幽静的双子城厄巴纳–香槟市,是一所世界著名的公立研究型大学。该校是美国“十大联盟(Big Ten)”创始成员,美国大学协会(AAU)成员,被誉为“公立常春藤”,与加州大学伯克利分校及密歇根大学安娜堡分校并称“美国公立大学三巨头”。
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【BAAI|2019】用深度学习模拟原子间势,王涵  (附pdf)
专知会员服务
17+阅读 · 2019年11月21日
CVPR2019 | 医学影像:MIT 利用学习图像变换进行数据增强
计算机视觉life
26+阅读 · 2019年3月27日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Arxiv
8+阅读 · 2018年5月1日
VIP会员
相关VIP内容
姿势服装随心换-CVPR2019
专知会员服务
34+阅读 · 2020年1月26日
【BAAI|2019】用深度学习模拟原子间势,王涵  (附pdf)
专知会员服务
17+阅读 · 2019年11月21日
Top
微信扫码咨询专知VIP会员