南京大学医学院最新《Transformer医学图像处理应用》综述论文，涵盖120多种Transformers方法及在医疗临床应用

Transformer模型已经在各种领域得到广泛应用。最新来自南京大学医学院发布最新《Transformer医学图像处理应用》综述论文，广泛回顾了该领域中超过120种基于Transformers的现有方法，为医疗应用提供了解决方案，并展示了Transformers是如何在各种临床环境中被采用的。

Transformers已经主导了自然语言处理领域，最近又影响了计算机视觉领域。在医学图像分析领域，Transformer也已成功应用于全面临床应用，包括图像合成/重建、配准、分割、检测和诊断。我们的论文对Transformers在医学图像分析领域的应用进行了全面调研。具体来说，我们首先概述了Transformer和其他基本组件中内置的注意力机制的核心概念。其次，我们给出了为医疗图像应用量身定制的各种Transformer架构的新分类，并讨论了它们的局限性。在这篇综述中，我们研究了围绕在不同学习范式中使用Transformer、提高模型效率以及它们与其他技术的耦合的关键挑战。我们希望这篇综述能给医学图像分析领域的读者一个全面的Transformer的概览。

https://www.zhuanzhi.ai/paper/13d269d51e808dd9dec1edf5a6d5b5eb

引言

Transformer[1]已经主导了自然语言处理(NLP)领域，包括语音识别[2]、合成[3]、文本到语音翻译[4]和自然语言生成[5]。作为深度学习体系结构的一个引人注目的实例，Transformer首先被引入处理NLP中的序列推理任务。虽然循环神经网络(RNN)6显式地使用了一系列推理过程，但Transformer显著地利用堆叠的自注意力层捕获了顺序数据的长期依赖关系。通过这种方式，Transformer既能一次性解决顺序学习问题，又能有效地叠加非常深入的模型。在解决NLP任务方面，一些接受过大规模架构训练的Transformer架构已经变得非常流行，例如BERT[8]和GPT[9]、[10]——仅举几个例子。

医学图像分析中Transformer的发展。图中展示了在分类、检测、分割和综合应用中所选择的方法。

卷积神经网络(Convolutional neural network, cnn)及其变体已经在一些计算机视觉(computer vision, CV)任务[11]中达到了最先进的水平，这在一定程度上要归功于它们逐渐扩大的感受野，可以将结构化图像表示的层次结构作为语义来学习。在计算机视觉[12]中，图像的视觉语义捕获通常被认为是构建成功网络的核心思想。然而，CNN忽略了图像中的长期依赖关系，如图像中物体的非局部相关。受上述Transformer在NLP中的成功启发，Dosovitskiy et al.[13]提出了Vision Transformer (ViT)，将图像分类作为图像patch (region)序列的序列预测任务，从而捕获输入图像中的长期依赖关系。ViT及其派生实例已经在几个基准数据集上实现了最先进的性能。在各种各样的计算机视觉任务中，transformer已经变得非常流行，包括图像分类[13]、检测[14]、分割[15]、生成[16]和描述生成[17]。此外，Transformer在基于视频的应用[18]中也扮演着重要的角色。****

最近，Transformer还将医学图像分析领域用于疾病诊断[19]、[20]、[21]和其他临床用途。如[22]，[23]的工作利用transformer通过CT或x线影像区分COVID-19和其他类型的肺炎，满足了快速有效治疗COVID-19患者的迫切需求。此外，transformer还成功地应用于图像[24]分割、[25]检测和[26]合成，取得了非常先进的效果。图1显示了Transformer对不同医学图像应用的时间适应性，将在第3节中进一步讨论。

虽然很多研究都致力于将Transformers定制到医学图像分析任务中，但这种定制带来了新的挑战，仍然没有得到解决。为了鼓励和促进基于Transformers的医学图像分析应用的发展，我们广泛回顾了该领域中超过120种基于Transformers的现有方法，为医疗应用提供了解决方案，并展示了Transformers是如何在各种临床环境中被采用的。此外，我们还深入讨论了如何设计基于Transformers的方法来解决更复杂的现实世界任务，包括弱监督/多任务/多模态学习范式。本文包括Transformers和CNN的比较，并讨论了提高Transformers网络的效率和解释的新方法。

以下各节的组织如下。第二节介绍了《Transformers》的前期及其在视觉上的发展。第3节回顾了Transformers 在医学图像分析中的最新应用，第4节讨论了Transformers未来的潜在发展方向。第五部分对全文进行总结。