南京大学医学院最新《Transformer医学图像处理应用》综述论文,涵盖120多种Transformers方法及在医疗临床应用

2022 年 3 月 4 日 专知

Transformer模型已经在各种领域得到广泛应用。最新来自南京大学医学院发布最新《Transformer医学图像处理应用》综述论文,广泛回顾了该领域中超过120种基于Transformers的现有方法,为医疗应用提供了解决方案,并展示了Transformers是如何在各种临床环境中被采用的。




Transformers已经主导了自然语言处理领域,最近又影响了计算机视觉领域。在医学图像分析领域,Transformer也已成功应用于全面临床应用,包括图像合成/重建、配准、分割、检测和诊断。我们的论文对Transformers在医学图像分析领域的应用进行了全面调研。具体来说,我们首先概述了Transformer和其他基本组件中内置的注意力机制的核心概念。其次,我们给出了为医疗图像应用量身定制的各种Transformer架构的新分类,并讨论了它们的局限性。在这篇综述中,我们研究了围绕在不同学习范式中使用Transformer、提高模型效率以及它们与其他技术的耦合的关键挑战。我们希望这篇综述能给医学图像分析领域的读者一个全面的Transformer的概览。

https://www.zhuanzhi.ai/paper/13d269d51e808dd9dec1edf5a6d5b5eb


引言


Transformer[1]已经主导了自然语言处理(NLP)领域,包括语音识别[2]、合成[3]、文本到语音翻译[4]和自然语言生成[5]。作为深度学习体系结构的一个引人注目的实例,Transformer首先被引入处理NLP中的序列推理任务。虽然循环神经网络(RNN)[6](例如,长短期记忆网络(LSTM)[7])显式地使用了一系列推理过程,但Transformer显著地利用堆叠的自注意力层捕获了顺序数据的长期依赖关系。通过这种方式,Transformer既能一次性解决顺序学习问题,又能有效地叠加非常深入的模型。在解决NLP任务方面,一些接受过大规模架构训练的Transformer架构已经变得非常流行,例如BERT[8]和GPT[9]、[10]——仅举几个例子。


医学图像分析中Transformer的发展。图中展示了在分类、检测、分割和综合应用中所选择的方法。


卷积神经网络(Convolutional neural network, cnn)及其变体已经在一些计算机视觉(computer vision, CV)任务[11]中达到了最先进的水平,这在一定程度上要归功于它们逐渐扩大的感受野,可以将结构化图像表示的层次结构作为语义来学习。在计算机视觉[12]中,图像的视觉语义捕获通常被认为是构建成功网络的核心思想。然而,CNN忽略了图像中的长期依赖关系,如图像中物体的非局部相关。受上述Transformer在NLP中的成功启发,Dosovitskiy et al.[13]提出了Vision Transformer (ViT),将图像分类作为图像patch (region)序列的序列预测任务,从而捕获输入图像中的长期依赖关系。ViT及其派生实例已经在几个基准数据集上实现了最先进的性能。在各种各样的计算机视觉任务中,transformer已经变得非常流行,包括图像分类[13]、检测[14]、分割[15]、生成[16]和描述生成[17]。此外,Transformer在基于视频的应用[18]中也扮演着重要的角色。


最近,Transformer还将医学图像分析领域用于疾病诊断[19]、[20]、[21]和其他临床用途。如[22],[23]的工作利用transformer通过CT或x线影像区分COVID-19和其他类型的肺炎,满足了快速有效治疗COVID-19患者的迫切需求。此外,transformer还成功地应用于图像[24]分割、[25]检测和[26]合成,取得了非常先进的效果。图1显示了Transformer对不同医学图像应用的时间适应性,将在第3节中进一步讨论。


虽然很多研究都致力于将Transformers定制到医学图像分析任务中,但这种定制带来了新的挑战,仍然没有得到解决。为了鼓励和促进基于Transformers的医学图像分析应用的发展,我们广泛回顾了该领域中超过120种基于Transformers的现有方法,为医疗应用提供了解决方案,并展示了Transformers是如何在各种临床环境中被采用的。此外,我们还深入讨论了如何设计基于Transformers的方法来解决更复杂的现实世界任务,包括弱监督/多任务/多模态学习范式。本文包括Transformers和CNN的比较,并讨论了提高Transformers网络的效率和解释的新方法。


以下各节的组织如下。第二节介绍了《Transformers》的前期及其在视觉上的发展。第3节回顾了Transformers 在医学图像分析中的最新应用,第4节讨论了Transformers未来的潜在发展方向。第五部分对全文进行总结。


Transformers 医学图像分类


Transformers 在医学图像分析中的应用


Transformers 已广泛应用于全堆栈的临床应用。在本节中,我们首先介绍基于Transformer的医学图像分析应用,包括分类、分割、图像到图像转换、检测、配准和基于视频的应用。我们根据学习任务对这些应用程序进行分类,如上图所示。

专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“TMIA” 就可以获取南京大学医学院最新《Transformer医学图像处理应用》综述论文,涵盖120多种Transformers方法及在医疗临床应用》专知下载链接

专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取70000+AI主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取70000+AI主题知识资源
登录查看更多
5

相关内容

医学影像是指为了医疗或医学研究,对人体或人体某部分,以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向:医学成像系统(medical imaging system)和医学图像处理(medical image processing)。前者是指图像行成的过程,包括对成像机理、成像设备、成像系统分析等问题的研究;后者是指对已经获得的图像作进一步的处理,其目的是或者是使原来不够清晰的图像复原,或者是为了突出图像中的某些特征信息,或者是对图像做模式分类等等。
人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
44+阅读 · 2021年9月27日
专知会员服务
45+阅读 · 2021年9月3日
国防科大《视觉-语言导航》综述论文,24页pdf154篇文献
专知会员服务
58+阅读 · 2021年8月27日
专知会员服务
46+阅读 · 2021年6月12日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
84+阅读 · 2020年12月25日
Transformers在计算机视觉概述
专知
3+阅读 · 2021年4月18日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
最全综述 | 医学图像处理
计算机视觉life
55+阅读 · 2019年6月15日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
2+阅读 · 2022年4月19日
Arxiv
1+阅读 · 2022年4月15日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
22+阅读 · 2020年9月16日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
相关论文
Arxiv
2+阅读 · 2022年4月19日
Arxiv
1+阅读 · 2022年4月15日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年12月23日
Arxiv
22+阅读 · 2020年9月16日
Top
微信扫码咨询专知VIP会员