图像配准的框架
图像配准的框架如下图所示，首先将Moving Image 按照FIxed Image大小进行相应的形变，形变的过程中，Moving Image可能会损失一部分像素，这就需要利用一些插值(Interpolator)算法对丢失的像素进行一些恢复的工作，接着，通过Metric评价Fixed Image和Moving Image之间的相似度，并且通过优化算法（Optimizer），不断Transform并迭代此过程，直至达到最优结果。
图像配准的分类
根据图像配准的原理和方法，可以将图像配准分为以下几个类别：
- 依据维度划分：
- 2D-2D: 2维图像之间的配准
- 3D-3D：3维图像之间的配准
- 2D-3D: 2维图像和3维图像之间的配准，具有更高的挑战性。
- 依据图像配准的一些基本特征：
- 基于图像的配准：
- 基于图像外在特征的配准
- 基于图像内在特征的配准
- 基于图像的配准：
- 依据图像转化的一些特质：
- 刚性配准
- 仿射配准
- 投影配准
- 曲线配准
- 基于交互的配准:
- 半自动配准
- 交互式配准
- 全自动配准
- 基于图像模态的配准
- 单模态配准
- 多模态配准
- 基于标准模板实现多个模态之间的配准
- 基于对象（个体）的配准
- 同一个对象不同时期的配准
- 不同个体之间的配准
- 基于解剖图集的配准
- 基于转换域（transformation domain）的配准
- 局部配准
- 全局配准
transformation
图像配准的一个重要概念就是需要实现两幅图像之间的坐标转（transformation），transformation的过程实现了关联两幅图像重要像素点的位置的功能，分为以下几种：
- 刚性（rigid）变化：实现平移和旋转
- 仿射（Affine）变化：实现缩放和剪切变换
- 曲线（Curved）变化：实现直线和曲线之间的变化
- 投影（Projected）变化：破坏平行线（打破图像中平行线的约束关系）
图像配准的基本算法
基于图像特征点的配准（Landmark based）
基于图像特征点的配准，通过两幅对应特征点，推理图像配准的转换过程，如下图所示，通过两幅图像标注的红点，实现图像配准。
基于Landmark的配准，可以分为以下两种类型：
- 基于图像内部的解剖结构
- 基于（患者）外部的人工标注对象，如患者成像之前，人为地在患者身边贴上一些易于成像的物体。
基于特征点的配准可以通过计算特征点集合的中心，甚至，可以通过旋转特征点集，使得每一对特征点集之间距离的平方和最小（即最小方差）。
基于特征平面的配准（Surfaced based）
基于特征平面的配准，通过提取两幅图像之间的特征平面，并通过最小化两幅图像之间的距离实现图像对应的转化（transform）的配准方法。
有以下一些经典的算法是通过 Surfaced based实现的配准:
-
Head and Hat算法 - 可迭代的最近邻算法
- 基于（两个曲面波峰线）山脊线的配准
基于体素（灰度）强度的配准（Voxel intensity based）
基于两幅图像灰度差异，即最小化两幅图像的灰度差异从而实现配准，如下图，对于两幅图像的灰度差异的表述是通过joint histogram实现的，两幅图像的灰度差异越小，其joint histogram的聚集点越密集，说明其灰度差异越小，图像配准效果越好。
有以下一些算法可以实现，灰度的配准：
- 最小化灰度差异的配准
- 图像相关性方法
- 两个图像一致性比率的最大值
- 区分部分图像灰度的归一性实现配准
基于信息论的配准方法（Information theory based）
基于最大化两幅图像之间的共享信息，即也就是尽可能减少合并后两幅图像的信息（熵）以实现配准。基于信息论配准的算法有以下几种：
- 相关熵（joint entropy）：衡量了两幅图像合并后的信息量
- 互信息（Mutual information）：表述图像信息的含量，衡量两幅图像是否达到了最好的匹配，一般用最大值表述其最优的匹配度。
- 正规化互信息（Normalization Mutual Information）
基于基函数实现的配准（basis function）
利用一些基函数的形变场（形变特性），如三角函数，傅立叶函数等实现配准，一些算法如：
- 基于基函数的线性组合实现平滑约束
- 三角基函数的集合可以表示形变的频谱，其中每个三角函数都可以表示形变的特定频率。
基于样条函数（splines）的配准
假设可以识别出两幅图像相对应的一些点或者控制点，在控制点处，通过近似或者一些插值算法可以映射两幅图像中控制点的位置，而在控制点之间通过平滑的位移操作实现配准。
弹性配准
想象一下，通过拉扯一块（有一定弹性的）布料，布料上的坐标点会发生位移。类似地，如大脑部位发生肿瘤，大脑的组织器官也会发生一定的形变，那么通过，弹性配准可以很好的处理病变的肿瘤部位。
基于物理学的配准
- 通过将图像模拟为流体的流体配准算法
- 通过将图像模拟为机械模型的配准
- 通过将图像模拟为光流体模型的配准
图像配准的可视化
通过可视化图像配准的结果，可以很容易地比较配准的结果优劣，有如下方法实现配准的可视化：
- 彩色叠加
如下图，通过将MRI和SPECT图像标注为两种不同的颜色，比较其配准结果。
交错像素或棋盘融合（Interleaved pixel or chessboard fusion）
通过将两幅图像切成大小一致切相邻的小方块，比较相邻方块的差异，检测配准效果。通过动态交替显示两幅图像的方式实现配准
将两幅图像并行地显示在两幅显示器上实现配准
通过两幅图像的减法，最小化差异实现两幅图像的配准
图像配准的验证
我们很难通过一些定量的方式表达图像配准的效果，而且图像配准也没有一个金标准，通常的验证方式是，通过一些算法，将图像进行一些变化，再利用配准算法生成变换后的图像（类似于GAN网络）。
