1. 图像配准简介

图像配准时指对一幅图进行一定的的几何变换映射到另一幅图中，使得两幅图像中的相关点达到空间上的一致。
将施加变换的图像定义为浮动图像F，另一幅不动的图像定义为参考图像R，图像配准的本质是寻找一个空间变换T，使得

一般配准的步骤如下：

• 选择合适的特征空间和变换搜索空间，定义图像之间的相似性测度函数
• 每次对浮动图像施加变换，计算变换后的浮动图像与参考图像的相似度。不断更新参数直到最优。
• 得到变换参数，应用于浮动图像上，变换后的浮动图像被认为是和参考图像达到了配准。

特征空间
特征空间指从参考图像和浮动图像中提取可用于配准的特征。根据特征可以归纳出两种方法：

• 基于像素的配准方法，需要用到插值。
• 基于特征的图像配准方法，特征提取，变换，以及必要的插值处理。

搜索空间
搜索空间是指在配准过程中对图像进行变换的范围和方式。

• 全局变换，整幅图像的空间变换，刚性配准
• 局部变换，变换与位置有关，非刚性配准

搜索算法
图像配准要在给定搜索空间上寻求相似性测度函数的最优解，搜索算法包括：

• 局部方法：利用局部信息改进初始模型，容易陷入局部最优解，比如梯度下降
• 全局方法：寻找全局最优解，计算量大，速度慢，比如遗传算法，模拟退火等

相似性度量

• 距离测量：均方根误差，兰氏距离，马氏距离，绝对差
• 角度度量
• 相关度量：时域内相关和频域内相关

传统的基于强度的相似性度量包括平方和距离（sum-of-square distance，SSD）、均方距离（mean square distance， MSD）、归一化互相关（normalized cross correlation，NCC）和互信息（mutual information，MI）。

变换

• 刚性变换：变换前后的两个平面内，物体内部任意两点之间的距离保持不变，可以分解为平移和旋转，镜像。通常用来配准有刚性物体的图像，例如骨骼。参数包括平移量和旋转量。
• 仿射变换：将平行线变换为平行线，比刚性变换多了缩放。
• 投影变换：将直线变换为直线，但是不保证平行关系，主要用于2D与3D的配准。
• 非线性变换：将直线映射为曲线，常用于具有全局性形变的胸、腹部等脏器的标准。

常用的医学图像配准方法
基于互信息的图像配准

• 计算基准图像和浮动图像的互信息
• 进行变换，计算新的浮动图像和基准图像的互信息
• 优化参数，寻找两幅图之间最大的互信息

基于傅里叶变换的图像配准
傅里叶变换用于配准的原理：图像的平移不影响傅里叶变换的幅值，旋转相遇对其傅里叶变换做相同的旋转。

基于小波变换的图像配准
对两幅图像的伸缩、旋转、平移等转化为对其作小波分解后，两幅图近似分量的伸缩、旋转、平移。

2. 基于深度学习的图像配准方法

基于深度学习的图像配准方法可以大致分为以下三类：深度相似性度量+迭代配准、有监督的变换估计和无监督的变换估计。

近些年的趋势，来源 [2]

2.1 深度相似性度量+迭代配准

通过深度学习估计移动图片和基准图片的相似性度量，这个相似性度量会被插入到传统的配准框架内，进行迭代优化。

也有一些方法是基于强化学习方法，让一个被训练过的 agent 来代替优化算法进行配准。基于强化学习的配准通常用于适合刚性变换的模型。

2.2 监督学习

有监督学习需要提供真实的变形场，也就是ground truth，网络输入为图像，输出为变换的参数。流程可以总结如下图。

实线表示训练和测试期间所需的数据流，而虚线表示仅在训练期间所需的数据流。[3]

对于有监督的学习，重要的是对用于网络训练的标签。许多人提出了用于生成变换的数据增强技术，大致可以分为三类：

• 随机变换，比如随机的旋转平移和仿射变换
• 传统的配准生成变换，利用传统方法生成变形向量场（deformation vector field ，DVF)
• 基于模型的变换，例如从少数训练样本中学习高度表达的统计外观模型（SAM），用于生成训练数据ground truth。

Miao等人首先提出使用深度学习来预测刚性变换参数。他们使用 CNN 来预测 2D/3D 刚性配准的变换矩阵。他们提出了分层回归，其中六个变换参数被划分为三组，分别为平面内参数（），平面外旋转参数（）， 平面外平移参数（）。网络输入为预定大小的ROI，网络结构是一个包括了卷积和全连接操作的回归器。训练期间要最小化的目标函数是欧几里得损失。

刚性变换需要6个参数来表示，而自由变形需要一个密集的变形向量场。

2.3 无监督学习

无监督学习可以很好的解决配准缺少有标签（有已知变换）图像的问题。

2015 年，Jaderberg 等人提出了空间变换网络 (spatial transformer network，STN)，它允许在网络内对数据进行空间操作，而且STN是一个可微分模块，可以插入到现有的 CNN 架构中。 STN 的发布启发了许多无监督的图像配准方法，因为 STN 可以在训练过程中进行图像相似度损失计算。

典型的 DIR（deformation image registration） 无监督变换预测网络以图像对作为输入，直接输出密集 DVF，STN 使用该 DVF 对运动图像进行变换曲。然后将扭曲的图像与固定图像进行比较以计算图像相似度损失。 DVF 平滑约束通常用于正则化预测的 DVF。

无监督学习[3]

利用 GAN 的 discriminator 来进行相似性度量也近些年的一个思路[4]。

GAN 在医学图像配准中的使用通常可以分为两类：

• 提供预测变换的额外正则化。不受约束的变形场预测可能导致具有不真实的扭曲，常见的方法是将添加正则项。然而，使用正则化项可能会限制神经网络能够预测的变形幅度。经过训练的 discriminator 不仅可以为正则化提供对抗性损失，还可以为对齐评估提供分数。
• 进行跨域图像映射。在多模态配准中，GAN 被用于将图像从一种模态映射到另一种模态，将多模态图像配准转换为单模态图像配准。

参考：

• 医学影像和医学图像处理，刘惠
• 基于深度学习的医学图像配准综述
• [1] Miao, S., Wang, Z.J., Liao, R.: A cnn regression approach for real-time 2D/3D registration. IEEE Trans. Med. Imaging 35(5), 1352–1363 (2016a)
• [2] https://iopscience.iop.org/article/10.1088/1361-6560/ab843e/meta#pmbab843es3
• [3] Deep learning in medical image registration: a survey
• [4] Fan J, Cao X, Xue Z, Yap PT, Shen D. Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning based Registration. Med Image Comput Comput Assist Interv. 2018;11070:739-746. doi:10.1007/978-3-030-00928-1_83