Transformer模型已经在各种领域得到广泛应用。最新来自南京大学医学院发布最新《Transformer医学图像处理应用》综述论文,广泛回顾了该领域中超过120种基于Transformers的现有方法,为医疗应用提供了解决方案,并展示了Transformers是如何在各种临床环境中被采用的。

Transformers已经主导了自然语言处理领域,最近又影响了计算机视觉领域。在医学图像分析领域,Transformer也已成功应用于全面临床应用,包括图像合成/重建、配准、分割、检测和诊断。我们的论文对Transformers在医学图像分析领域的应用进行了全面调研。具体来说,我们首先概述了Transformer和其他基本组件中内置的注意力机制的核心概念。其次,我们给出了为医疗图像应用量身定制的各种Transformer架构的新分类,并讨论了它们的局限性。在这篇综述中,我们研究了围绕在不同学习范式中使用Transformer、提高模型效率以及它们与其他技术的耦合的关键挑战。我们希望这篇综述能给医学图像分析领域的读者一个全面的Transformer的概览。

https://www.zhuanzhi.ai/paper/13d269d51e808dd9dec1edf5a6d5b5eb

引言

Transformer[1]已经主导了自然语言处理(NLP)领域,包括语音识别[2]、合成[3]、文本到语音翻译[4]和自然语言生成[5]。作为深度学习体系结构的一个引人注目的实例,Transformer首先被引入处理NLP中的序列推理任务。虽然循环神经网络(RNN)6显式地使用了一系列推理过程,但Transformer显著地利用堆叠的自注意力层捕获了顺序数据的长期依赖关系。通过这种方式,Transformer既能一次性解决顺序学习问题,又能有效地叠加非常深入的模型。在解决NLP任务方面,一些接受过大规模架构训练的Transformer架构已经变得非常流行,例如BERT[8]和GPT[9]、[10]——仅举几个例子。

医学图像分析中Transformer的发展。图中展示了在分类、检测、分割和综合应用中所选择的方法。

卷积神经网络(Convolutional neural network, cnn)及其变体已经在一些计算机视觉(computer vision, CV)任务[11]中达到了最先进的水平,这在一定程度上要归功于它们逐渐扩大的感受野,可以将结构化图像表示的层次结构作为语义来学习。在计算机视觉[12]中,图像的视觉语义捕获通常被认为是构建成功网络的核心思想。然而,CNN忽略了图像中的长期依赖关系,如图像中物体的非局部相关。受上述Transformer在NLP中的成功启发,Dosovitskiy et al.[13]提出了Vision Transformer (ViT),将图像分类作为图像patch (region)序列的序列预测任务,从而捕获输入图像中的长期依赖关系。ViT及其派生实例已经在几个基准数据集上实现了最先进的性能。在各种各样的计算机视觉任务中,transformer已经变得非常流行,包括图像分类[13]、检测[14]、分割[15]、生成[16]和描述生成[17]。此外,Transformer在基于视频的应用[18]中也扮演着重要的角色。****

最近,Transformer还将医学图像分析领域用于疾病诊断[19]、[20]、[21]和其他临床用途。如[22],[23]的工作利用transformer通过CT或x线影像区分COVID-19和其他类型的肺炎,满足了快速有效治疗COVID-19患者的迫切需求。此外,transformer还成功地应用于图像[24]分割、[25]检测和[26]合成,取得了非常先进的效果。图1显示了Transformer对不同医学图像应用的时间适应性,将在第3节中进一步讨论。

虽然很多研究都致力于将Transformers定制到医学图像分析任务中,但这种定制带来了新的挑战,仍然没有得到解决。为了鼓励和促进基于Transformers的医学图像分析应用的发展,我们广泛回顾了该领域中超过120种基于Transformers的现有方法,为医疗应用提供了解决方案,并展示了Transformers是如何在各种临床环境中被采用的。此外,我们还深入讨论了如何设计基于Transformers的方法来解决更复杂的现实世界任务,包括弱监督/多任务/多模态学习范式。本文包括Transformers和CNN的比较,并讨论了提高Transformers网络的效率和解释的新方法。

以下各节的组织如下。第二节介绍了《Transformers》的前期及其在视觉上的发展。第3节回顾了Transformers 在医学图像分析中的最新应用,第4节讨论了Transformers未来的潜在发展方向。第五部分对全文进行总结。

Transformers 医学图像分类

Transformers 在医学图像分析中的应用

Transformers 已广泛应用于全堆栈的临床应用。在本节中,我们首先介绍基于Transformer的医学图像分析应用,包括分类、分割、图像到图像转换、检测、配准和基于视频的应用。我们根据学习任务对这些应用程序进行分类,如上图所示。

成为VIP会员查看完整内容
119

相关内容

智慧医疗英文简称WIT120,是最近兴起的专有医疗名词,通过打造健康档案区域医疗信息平台,利用最先进的物联网技术,实现患者与医务人员、医疗机构、医疗设备之间的互动,逐步达到信息化。
人大最新《基于Transformer 的视频语言预训练》综述论文
专知会员服务
45+阅读 · 2021年9月27日
专知会员服务
45+阅读 · 2021年9月3日
专知会员服务
46+阅读 · 2021年6月12日
华为等发布《视觉Transformer转换器》综述论文,21页pdf
专知会员服务
85+阅读 · 2020年12月25日
Transformers在计算机视觉概述
专知
3+阅读 · 2021年4月18日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
最全综述 | 医学图像处理
计算机视觉life
56+阅读 · 2019年6月15日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
Arxiv
2+阅读 · 2022年4月19日
Arxiv
1+阅读 · 2022年4月15日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年12月23日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
国家自然科学基金
2+阅读 · 2009年12月31日
相关论文
Arxiv
2+阅读 · 2022年4月19日
Arxiv
1+阅读 · 2022年4月15日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
19+阅读 · 2020年12月23日
微信扫码咨询专知VIP会员