美国埃默里大学医学院发布最新「医学图像配准深度学习」综述论文

【导读】医学图像配准（ Medical Image Registration）作为近年来的研究热点之一，受到了广泛关注，每年在各大会议上都有大量的相关文章发表。当前，基于深度学习的医学图像配准变得越来越流行，人们提出了许多方法来解决这一领域的不同问题。美国埃默里大学医学院Xiaofeng Yang老师课题组新出的这篇论文对近几年医学图像配准深度学习方法进行了全面综述，根据其方法、特征和流行程度分为七类，对每个类别进行了详细的调研，强调了其重要的点及其相应挑战，帮助读者更好地了解当前的研究现状和思路，并且使用基准数据集对基于深度学习的肺和脑配准方法进行了全面比较，最后也介绍了未来的研究方向。

题目：Deep Learning in Medical Image Registration: A Review

作者：Yabo Fu, Yang Lei, Tonghe Wang, Walter J. Curran, Tian Liu, Xiaofeng Yang

【摘要】本文综述了基于深度学习的医学图像配准方法和基于深度学习的配准方法在医学领域的最新发展和应用。这些方法根据其方法、特征和流行程度分为七类。我们对每个类别进行了详细的审查，强调了重要的贡献和确定了具体的挑战。在详细检查每一类别之后，提出了简短的评价，以总结其成就和未来的潜力。我们使用基准数据集对基于深度学习的肺和脑配准方法进行了全面比较。最后，我们从各个方面对所有被引工作进行统计分析，揭示了基于深度学习的医学图像配准的普及和未来趋势。

引言

图像配准又称图像融合或图像匹配，是基于图像外观对两幅或多幅图像进行配准的过程。医学图像配准试图找到一个最佳的空间转换，以最好地对齐底层的解剖结构。医学图像配准在很多临床应用中都有使用，如image guidance [22,123,148,170]，motiontracking [13,46,172]，segmentation [44,57,174,171,173,176]，dose accumulation [1,153]，imagereconstruction [91]等。

医学图像配准是一个广泛的课题，可以从不同的角度进行分类。从输入图像的角度来看，挂号方式可以分为单峰挂号、多峰挂号、患者间挂号、患者内挂号(如当天挂号或当日挂号)。从变形模型的角度看，配准方法可分为刚性配准方法、仿射配准方法和可变形配准方法。从感兴趣区域(ROI)的角度来看，配准方法可以根据脑、肺等解剖部位进行分组。从图像对维数的角度来看，配准方法可分为3D到3D、3D到2D、2D到2D/3D。不同的应用程序和配准方式面临着不同的挑战。对于多模态图像配准，由于不同成像方式之间固有的外观差异，很难设计出准确的图像相似度度量。由于不同患者的基础解剖结构不同，因此患者之间的配准可能很棘手。由于代谢过程、排便、患者增/减体重等引起的图像外观变化，患者不同天数的住院配准具有挑战性。为了提供实时的图像制导，配准的计算效率至关重要。

人们提出了许多方法来应对上述挑战。目前比较流行的配准方法有optical flow [169,167]、demons [154]、ANTs[3]、HAMMER[131]、ELASTIX[75]等。尽管医学图像配准已被广泛研究，但它仍然是一个热门的研究主题。医学图像配准领域发展迅速，每年都有数百篇论文发表。近年来，基于深度学习的方法已经改变了医学图像处理研究的面貌，并在许多应用中取得了最新的成果[25、27、45、58、84、85、86、88、89、97、98、156、157、158、160、161]。然而，医学图像配准中的深度学习直到最近三到四年才得到广泛的研究。虽然已有多篇关于医学图像分析中深度学习的综述文献发表[73、93、96、105、106、121、132、182]，但针对医学图像配准[60]中深度学习的综述文献较少。本文的目的是总结基于深度学习的医学图像配准方法的最新发展、挑战和趋势。通过这篇综述，我们旨在:

1）综述了基于深度学习的医学图像配准的最新进展。

2）突出贡献、确定挑战并概述未来趋势。

3）从不同角度提供最新出版物的详细统计数据。

在这篇文章中，将DL-based医学图像配准方法按其方法,特征和受欢迎程度分为七类，包括1）基于RL的方法，2）基于深度相似性的方法，3) 监督变换预测, 4)无监督变换预测, 5) 医学图像配准中的GAN, 6) 使用深度学习的配准验证,和7) 其他基于学习的方法。

图1. 医学图像配准中基于深度学习的七类方法综述

在每个类别中，我们提供了一个完整的表格，列出了所有属于该类别的被综述工作并总结了它们的重要特征。我们总共收集了150多篇与基于深度学习的医学图像配准密切相关的论文。这些工作大多发表于2016年至2019年之间。在图2中，出版物的数量通过堆叠柱状图来表示。论文的数量是按类别计算的。

从图2可以看出，人们对有监督变换预测(SupCNN)和无监督变换预测(UnsupCNN)的兴趣明显增加。与此同时，GAN逐渐受到欢迎。

图2. 基于深度学习的医学图像配准中出版的文章数量。虚线表示近年来人们对基于深度学习的配准方法越来越感兴趣。“ DeepSimilarity”是在传统配准框架中使用基于DL的相似性度量的类别。“ RegValidation”代表使用DL进行配准验证的类别。

表1. 基于深度相似性的方法概述

表2. RL在医学图像配准中的应用概况

表3. 监督变换预测方法综述

表4. 无监督变换预测方法综述

表5 GAN配准方法概述

表6使用深度学习的配准验证方法概述

表7其他基于深度学习的图像配准方法综述

表8 DIRLAB数据集中不同方法的目标配准误差(TRE)值比较，TRE单位:(mm)， *:传统DIR方法

表9用于脑配准的基准数据集和评价指标

图4. 基于深度学习的图像配准方法各属性的百分比饼图。

挑战与机遇

对于有监督的基于深度学习的方法，最常见的挑战之一是缺乏具有已知转换的训练数据集。这个问题可以通过各种数据扩充方法来缓解。然而，数据增强方法可能会引入额外的误差，如不切实际的人工转换的偏差和在训练和测试阶段之间的图像域转移。

配准验证方法与配准方法同样重要。我们注意到2019年越来越多的论文关注配准验证。为了可靠地评价不同配准方法在不同参数配置下的性能，需要对配准验证方法进行更多的研究。

趋势

从被引文献的统计数据来看，对于快速图像配准，存在直接变换预测的明显趋势。到目前为止，有监督的和无监督的变换预测方法的研究几乎是相等的，这两种方法的发表数量都很接近。有监督方法和无监督方法各有优缺点。我们推测，在未来，更多的研究将集中在有监督和无监督相结合的方法上。由于GAN不仅可以用于引入额外的正则化，还可以用于图像域转换，从而实现多模态到单模态的图像配准，因此基于GAN的配准方法逐渐得到了广泛的应用。基于GAN的医学图像配准技术将稳步发展。由于配准问题的病态性，新的变换正则化技术一直是研究的热点。