综述 | 图像配准 Image registration
点击上方“计算机视觉life”，选择“星标”
快速获得最新干货
本文作者：白小鱼。知乎专栏：图像配准指北
原文链接：https://zhuanlan.zhihu.com/p/80985475
图像配准与相关[1]是图像处理研究领域中的一个典型问题和技术难点，其目的在于比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。
具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像（浮动图像，moving image）映射到另一幅图像（参考图像，fixed image）上，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。
图像配准常为图像融合的一个预处理步骤。经过精确图像配准的图像对，通常可获得更好的融合效果。
一、定义
图像配准是使用某种算法，基于某种评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。
根据不同配准方法，不同评判标准和不同图片类型，有不同类型的图像配准方法。
（详见“问题分类”部分）
二、问题背景和应用
图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域有广泛应用。
由于可应用图像配准的图像类型众多，暂时无法开发出可满足所有用途的通用优化方法。
图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的图像诸如CT，MRI；同时，也可以采集到含有功能信息的图像诸如SPECT。然而，通过观察不同的图像进行诊断需要凭着空间想象和医生的主观经验。采用正确的图像配准方法则可以将多种多样的信息准确地融合到同一图像中，使医生更方便更精确地从各个角度观察病灶和结构。同时，通过对不同时刻采集的动态图像的配准，可以定量分析病灶和器官的变化情况，使得医疗诊断、制定手术计划、放射治疗计划更准确可靠。
在计算机视觉领域里，配准方法可被用来进行视频分析、模式识别，自动跟踪对象的运动变化。
在材料力学方面，配准通常用来研究力学性质，称为数字图像相关。通过对不同相机不同传感器采集到的信息（形状，温度等）进行融合比较，可以计算得到例如应变场、温度场等数值。通过带入理论模型可以进行参数反向优化等。
三、相关关键词
相近词：
image registration (mapping matching, co-registration alignment, fusion)
注：mapping 侧重于空间映射，fusion为图像融合，不仅包括配准还包括数据集成后的图像显示。
相近领域：
图像融合，图像拼接，图像分割，超分辨率，图配准，点云配准，SLAM
使用方法：
相似性测度，配准精度，配准算法，小波变换，互信息，仿射变换，特征提取，特征点匹配，相位相关，角点检测，边缘检测，旋转角度，相位相关，遗传算法，深度学习
应用领域：
医学图像，遥感图像，天气预测，地理信息系统，超分辨率，运动追踪，自动控制
四、问题分类
图像配准分类标准不唯一，下面两图是某位研究者[2]的分类结果（2014年）。
本人的分类结果见下图
基于问题特点的分类
1.Registration Quality: 配准性质
根据数据或特征确定的配准类型。
如自然图像配准，医学图像配准，遥感图像配准等。
2.图像采集方式
①Multi-view Analysis: 多视图配准
同一物体在同一场景不同视角下的图像配准。
从多个视角捕获相似对象或场景的图像，以便获得扫描对象或场景的更好表示。如使用图像拼接，从2D图像重建3D模型等。
②Multi-temporal Analysis: 多时相配准
同一物体在同一场景同视角不同时间的图像配准。如运动追踪，肿瘤生长情况跟踪等。
③Multi-modal Analysis: 多模态配准
多模配准常见于医学图像领域，故以多模医学图像配准为例。
由于医学成像设备可以提供关于患者不同信息不同形式的图像（计算机断层扫描CT，核磁共振MRI，正电子发射断层成像PET，功能核磁共振fMRI等）。
基于单种或多种模态图像的配准，可划分为单模态（Single-modality）和多模态（Multi-modality）。
3. Interaction: 配准流程互动性
手动，半自动或自动
4. Dimensionality: 图像空间维数
若仅考虑空间维数，可以划分为2D/2D, 2D/3D, 3D/3D等。若考虑时间序列因素，还存在对在不同时刻提取的两幅图像进行配准的问题。
5. Domain of transformation: 图像转换区域（全局/局部配准）
6. Nature of Registration basis: 配准基准的性质
根据算法所基于的特征及相似性测度。
①基于内部特征的配准。
内部特征指的是从图像内部本身提取的信息。
基于特征（feature-based）：在几何上有特别意义的可以定位的特征点集（比如不连续点，图形的转折点，线交叉点等），或者用分割的方法提取出感兴趣的部分的轮廓（曲线或曲面），以作为用来比较的特征空间。在医学图像上可以是具有解剖意义的点。
基于像素值（intensity-based）：利用整幅图像的像素或体素来构成特征空间。根据像素值的统计信息来计算相似性测度又可划分为最小二乘法，傅里叶法，互相关法，互信息法等等。
②基于外部特征的配准。
在医学图像中，通过在患者身上固定标记物或向体内注入显影物质以获得在图像上的确定的标记点，称为外部特征点。
③基于不同装置成像坐标的配准
7. Subject of Registration: 配准主体
以医学图像配准为例，可分为 Intra-subject （图像来自于同一病人），Inter-subjective （来自不同的病人）和 Atlas （病人数据和图谱的配准）三种。
Object of Registration: 配准物体（头、乳腺、胸、眼、腹、膝盖 等…）
8. Type of transformation: 变换性质
根据用于将浮动图像空间与参考图像空间相关联的变换模型对图像配准算法进行分类。对图像进行空间变换可以分为刚体变换（rigid）和非刚体变换（non- rigid, deformable）。
第一类变换模型是线性变换，包括旋转，缩放，平移和其他仿射变换。线性变换本质上是全局的，因此，它们无法模拟图像之间的局部几何差异。
第二类变换模型允许“弹性”或“非刚性”变换。这些变换能够局部地扭曲浮动图像使其与参考图像对准。非刚性变换包括径向基函数（薄板或曲面样条函数，多重二次曲面函数和紧支撑变换），物理连续模型（粘性流体）和大变形模型（微分同胚）。
变换模型通常是参数化的例如，可以通过单个参数（变换向量）来描述整个图像的变换。这些模型称为参数模型。另一方面，非参数模型不遵循任何参数化，允许每个图像元素任意移位。
9. Parameters of Registration: 算法参数
当比较特征采用特征点集的形式时，可以通过联立方程组来找到变换的解。
但一般情况下，配准问题都会转化为求解相似性测度最优值的问题，在计算方法中通常需要采用合适的迭代优化算法，诸如梯度下降法、牛顿法、Powell法、遗传算法等。
根据算法本质的分类
图像配准最本质的分类是：
1.基于灰度的图像配准；2.基于特征的图像配准。
具体的图像配准算法是基于这两点的混合或者变体的算法。
五、图像配准通用流程
通常，图像配准技术包括四个方面：变换模型、特征空间、相似性测度、搜索空间和搜索策略。依据这四个特性，图像配准的步骤一般可分为以下五个步骤：
根据实际应用场合选取适当的变换模型；
选取合适的特征空间，基于灰度或基于特征；
根据变换模型的参数配置以及所选用的特征，确定参数可能变化的范围，并选用最优的搜索策略；
应用相似性测度在搜索空间中按照优化准则进行搜索，寻找最大相关点，从而求解出变换模型中的未知参数；
将待配准图像按照变换模型对应到参考图像中，实现图像间的匹配。
其中，如何选取合适的特征进行匹配是配准的关键所在。
以基于特征的图像配准通用流程为例：
基于特征的图像配准通用流程[3]
1.Feature detection: 特征检测
图像配准过程的一项重要任务。根据问题的复杂性，通常分为手动或自动检测，但通常优先选择自动特征检测。
封闭边界，边缘，轮廓，线交点，角点，以及它们的代表点如重心或线末端（统称为控制点）可以作为特征。由特殊对象组成的这些特征必须易于检测，即特征将是物理上可解释和可识别的。
参考图像必须与浮动图像共享足够多的共同特征集合，而不受到任何未知遮挡或意外改变的影响。用于检测的算法应该足够稳健，以便能够在场景的所有投影中检测相同的特征而不受任何特定图像变形或退化的影响。
2.Feature matching: 特征匹配
该步骤基本建立在对待配准图像与在参考图像中检测到的特征之间的对应关系上。
除了特征之间的空间关系之外，还采用不同的特征描述符（ feature descriptor）和相似性度量来确定配准的准确性。
必须合理地配置特征描述符，使得它们在任何退化时仍保持不变，与此同时，它们需要不受噪声影响且能适当区分不同的特征。
3.Transform model estimation: 图像变换模型的评估
为配准浮动图像与参考图像，需要估计映射函数的参数。使用从前一步骤获得的对应特征来计算这些参数。
映射函数的选择，取决于图像采集过程和预期图像变形的先验知识。在没有任何先验信息的情况下，必须确保模型的灵活性。
4.Image transformation/re-sampling: 图像变换
对浮动图像使用映射进行图像变换来配准。
六、图像配准质量评估标准(performance measures)[4][5]
必须有某种方法来评估图像配准的准确度和质量。
与此同时，针对不同类型的图像需要使用不同评估标准。
目前 没有 一个绝对的金标准（gold standard）可以评估图像配准的质量。
下面仅以医学图像为例，列举两种最经典的评估方法：
单模图像配准常使用 相关性（Correlation Coefficient, CC）来衡量效果，
而多模图像配准常使用 互信息（Mutual Information, MI）衡量。
①相关性 Correlation Coefficient (CC)
相关性本质上是一种相似性度量，它可以了解浮动图像和参考图像的相似程度。如果两个图像完全相同，则相关性等于1；而如果两个图像完全不相关，则相关性值等于0；若相关性值等于-1，表示图像完全反相关，这意味着一个图像是另一个的负面。通过使用相关性作为评价标准，单模态配准可获得满意的结果。
对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列，采用使图像间相似性最大化的原理实现图像间的配准，即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转。相关性主要限于单模图像配准，特别是对一系列图像进行比较,从中发现由疾病引起的微小改变。
它表示为：
x_i , y_i 分别为浮动图像和参考图像第 i 个像素的强度；
x_m , y_m 为 浮动图像和参考图像的平均强度。
②互信息 Mutual Information (MI)
互信息是确定两个图像中相应体素的图像强度之间相似度的另一个度量。当两个图像准确对齐时，互信息最大化。互信息的值是非负且对称。其范围从零开始，可以变化到高值。高互信息值表示不确定性的大幅降低，而零互信息值清楚地表明这两个变量是独立的。
由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设，也不需要对图像作分割或任何预处理，所以被广泛地用于CT/MR、PET/MR等多种配准工作。最大互信息法几乎可以用在任何不同模式图像的配准，特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果。
p(x, y) 为 联合分布函数；p_1(x) , p_2(y) 为边际分布函数。
也常使用图像分割领域的DICE loss[6]，熵相关系数（Entropy Corrleation Coefficient，ECC）等指标进行评估。
七、前人工作
1.经典方法
《图像配准技术及其MATLAB编程实现》
Image registration methods：A survey
Image Registration Techniques：A Survey
Deformable Medical Image Registration: A Survey
2.最新热点
基于神经网络：
稀疏跨域对象映射 SIGGRAPH 2018：Neural Best-Buddies: Sparse Cross-Domain
医学图像配准[7][8]（参考：Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions）
相关重要综述文章：
Image registration methods：
A survey
Image Registration Techniques：
A Survey
Slice-to-volume medical image registration：
A survey
A Survey on Deep Learning in Medical Image Analysis
医学图像配准技术_罗述谦
相关热点前沿文章：
Deep Learning in Medical Image Registration: A Survey
A Survey on Deep Learning in Medical Image Analysis
Deep Learning in Medical Image Analysis
A novel relational regularization feature selection method for joint regression and classification in AD diagnosis
A review of substitute CT generation for MRI-only radiation therapy
Efficient multi-scale 3D CNN with fully connected CRF for accurate brain lesion segmentation
The challenge of mapping the human connectome based on diffusion tractography
八、相关开源工具
传统方法经典工具：
Material Presented at ITK Tutorials
MeVisLab
MATLAB
白小鱼：【小白向】MATLAB图像配准各方法介绍和对比
Image Registration techniques using MATLAB
Registering Multimodal MRI Images using Matlab.
elastix: a toolbox for rigid and nonrigid registration of images.
niftyreg: a toolbox for doing near real-time robust rigid, affine (using block matching) and non-rigid image registration (using a refactored version of the free form deformation algorithm).
Python:
VoxelMorph: A Learning Framework for Deformable Medical Image Registration
Quicksilver: Fast Predictive Image Registration - a Deep Learning Approach
AirLab: Autograd Image Registration Laboratory
九、数据集
其他类型的数据集正在整理中，暂先公开部分医学图像数据集。
医学图像公开数据库：
https://github.com/sfikas/medical-imaging-datasets
最新公开的配准数据库及其官方结果分析：
MICCAI 2018、2019 MR和超声配准：curious2019 - Grand Challenge
ISBI 2019病理图像配准：ANHIR - Grand Challenge
arxiv: 1904.10535
Automatic_Non-rigid_Histological_Registration_challenge
欢迎关注专栏：图像配准指北
请图像配准领域的学习者、爱好者和从业者加入：【配准萌新交流群】 869211738
参考
wiki 图像配准
https://www.wikiwand.com/zh/%E5%9B%BE%E5%83%8F%E9%85%8D%E5%87%86
图像配准简介
https://blog.csdn.net/carson2005/article/details/38757379
Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540
医学图像配准技术_罗述谦
Image Registration Techniques A Survey 28 Nov. 2017. 1712.07540
DICE系数 https://www.wikiwand.com/zh/Dice%E7%B3%BB%E6%95%B0
Going Deep in Medical Image Analysis : Concepts, Methods, Challenges and Future Directions https://arxiv.org/pdf/1902.05655.pdf
https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey https://www.researchgate.net/publication/331561735_Deep_Learning_in_Medical_Image_Registration_A_Survey
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、算法竞赛、图像检测分割、人脸人体、医学影像、自动驾驶、综合等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
推荐阅读
最新AI干货，我在看
相关内容
微信扫码咨询专知VIP会员