医学图像配准框架

图像配准的框架

上海交通大学 医学图像处理技术

图像配准的框架如下图所示，首先将Moving Image 按照FIxed Image大小进行相应的形变，形变的过程中，Moving Image可能会损失一部分像素，这就需要利用一些插值(Interpolator)算法对丢失的像素进行一些恢复的工作，接着，通过Metric评价Fixed Image和Moving Image之间的相似度，并且通过优化算法（Optimizer），不断Transform并迭代此过程，直至达到最优结果。

图像配准的分类

根据图像配准的原理和方法，可以将图像配准分为以下几个类别：

• 依据维度划分：
  • 2D-2D: 2维图像之间的配准
  • 3D-3D：3维图像之间的配准
  • 2D-3D: 2维图像和3维图像之间的配准，具有更高的挑战性。
• 依据图像配准的一些基本特征：
  • 基于图像的配准：
    • 基于图像外在特征的配准
    • 基于图像内在特征的配准
• 依据图像转化的一些特质：
  • 刚性配准
  • 仿射配准
  • 投影配准
  • 曲线配准
• 基于交互的配准:
  • 半自动配准
  • 交互式配准
  • 全自动配准
• 基于图像模态的配准
  • 单模态配准
  • 多模态配准
  • 基于标准模板实现多个模态之间的配准
• 基于对象（个体）的配准
  • 同一个对象不同时期的配准
  • 不同个体之间的配准
  • 基于解剖图集的配准
• 基于转换域（transformation domain）的配准
  • 局部配准
  • 全局配准

transformation

图像配准的一个重要概念就是需要实现两幅图像之间的坐标转（transformation），transformation的过程实现了关联两幅图像重要像素点的位置的功能，分为以下几种：

• 刚性（rigid）变化：实现平移和旋转
• 仿射（Affine）变化：实现缩放和剪切变换
• 曲线（Curved）变化：实现直线和曲线之间的变化
• 投影（Projected）变化：破坏平行线（打破图像中平行线的约束关系）

图像配准的基本算法

基于图像特征点的配准（Landmark based）

基于图像特征点的配准，通过两幅对应特征点，推理图像配准的转换过程，如下图所示，通过两幅图像标注的红点，实现图像配准。

基于Landmark的配准，可以分为以下两种类型：

• 基于图像内部的解剖结构
• 基于（患者）外部的人工标注对象，如患者成像之前，人为地在患者身边贴上一些易于成像的物体。

基于特征点的配准可以通过计算特征点集合的中心，甚至，可以通过旋转特征点集，使得每一对特征点集之间距离的平方和最小（即最小方差）。

基于特征平面的配准（Surfaced based）

基于特征平面的配准，通过提取两幅图像之间的特征平面，并通过最小化两幅图像之间的距离实现图像对应的转化（transform）的配准方法。

有以下一些经典的算法是通过 Surfaced based实现的配准:

• Head and Hat算法
• 可迭代的最近邻算法
• 基于（两个曲面波峰线）山脊线的配准

基于体素（灰度）强度的配准（Voxel intensity based）

基于两幅图像灰度差异，即最小化两幅图像的灰度差异从而实现配准，如下图，对于两幅图像的灰度差异的表述是通过joint histogram实现的，两幅图像的灰度差异越小，其joint histogram的聚集点越密集，说明其灰度差异越小，图像配准效果越好。

有以下一些算法可以实现，灰度的配准：

• 最小化灰度差异的配准
• 图像相关性方法
• 两个图像一致性比率的最大值
• 区分部分图像灰度的归一性实现配准

基于信息论的配准方法（Information theory based）

基于最大化两幅图像之间的共享信息，即也就是尽可能减少合并后两幅图像的信息（熵）以实现配准。基于信息论配准的算法有以下几种：

• 相关熵（joint entropy）：衡量了两幅图像合并后的信息量
• 互信息（Mutual information）：表述图像信息的含量，衡量两幅图像是否达到了最好的匹配，一般用最大值表述其最优的匹配度。
• 正规化互信息（Normalization Mutual Information）

基于基函数实现的配准（basis function）

利用一些基函数的形变场（形变特性），如三角函数，傅立叶函数等实现配准，一些算法如：

• 基于基函数的线性组合实现平滑约束
• 三角基函数的集合可以表示形变的频谱，其中每个三角函数都可以表示形变的特定频率。

基于样条函数（splines）的配准

假设可以识别出两幅图像相对应的一些点或者控制点，在控制点处，通过近似或者一些插值算法可以映射两幅图像中控制点的位置，而在控制点之间通过平滑的位移操作实现配准。

弹性配准

想象一下，通过拉扯一块（有一定弹性的）布料，布料上的坐标点会发生位移。类似地，如大脑部位发生肿瘤，大脑的组织器官也会发生一定的形变，那么通过，弹性配准可以很好的处理病变的肿瘤部位。

基于物理学的配准

• 通过将图像模拟为流体的流体配准算法
• 通过将图像模拟为机械模型的配准
• 通过将图像模拟为光流体模型的配准

图像配准的可视化

通过可视化图像配准的结果，可以很容易地比较配准的结果优劣，有如下方法实现配准的可视化：

• 彩色叠加
  如下图，通过将MRI和SPECT图像标注为两种不同的颜色，比较其配准结果。

• 交错像素或棋盘融合（Interleaved pixel or chessboard fusion）
  通过将两幅图像切成大小一致切相邻的小方块，比较相邻方块的差异，检测配准效果。

• 通过动态交替显示两幅图像的方式实现配准

• 将两幅图像并行地显示在两幅显示器上实现配准

• 通过两幅图像的减法，最小化差异实现两幅图像的配准

图像配准的验证

我们很难通过一些定量的方式表达图像配准的效果，而且图像配准也没有一个金标准，通常的验证方式是，通过一些算法，将图像进行一些变化，再利用配准算法生成变换后的图像（类似于GAN网络）。