题目 :使用GAN实现可变形医学图像配准
传统的深度学习配准方法都采用迭代方法,作者采用GAN实现了一种端到端的多模态图像配准方法,消除了传统方法耗时的迭代直接生成有变形场的配准图像。
前人工作:
Sokooti et. al.[6]提出RegNet,它使用经过模拟变形训练的CNNs为一对单一模态图像生成位移向量场。
Vos et. al. [7][提出了一种可变形图像配准网络(dir - net),它以一对固定图像和一对运动图像为输入,非迭代地输出变换后的图像。训练是完全无监督的,不像以前的方法,它没有经过已知配准转换的训练
前人工作中需要改进的地方:
1)使用空间对应的patches 来进行预测转换,但是在低对比度医学图像中寻找相应的patches是不容易的,可能会对配准任务产生不利影响
2)多模态配准由于其固有的寻找空间对应斑块的问题,使得其配准方法具有挑战性
- 使用基于强度的代价函数限制了基于DL的图像配准框架的优势
主要创新点:
1)利用GANs进行多模态医学图像配准,可以恢复更复杂的变形范围
2)损失函数的改进,加入VGG,SSIM损失和变形场可逆性(deformation field reversibility变形场可逆性,emmm感觉怪怪的)
对于多模态配准,我们使用cGANs来保证生成的输出图像(即,转换后的浮动图像)与浮动图像具有相同的特征(强度分布),而与参考图像(不同模态)具有相似的位置。可以通过在图像生成的损失函数中加入适当的约束来实现。此外,我们加强变形一致性,以获得真实的变形场。这可以防止不切实际的配准,并允许任何图像作为参考或浮动图像。不需要对网络进行再训练,就可以从不属于训练集的模式中注册新的测试图像对。
网络结构:
生成网络:
配准后的图像为I_trans
待配准的图像为I_Flt
固定图像为I_Ref
I_trans 应该和I_Flt有相同的强度分布,和I_Ref有相同的结构信息
NMI(ITrans, IRef)表示IRef和IT rans之间的归一化互信息(NMI)(normalized mutual information)再多模态配准任务中常使用
SSIM(IT rans, IRef)表示结构相似度指标(SSIM)[13],基于边缘分布等计算图像相似度
保证结构相似性
V GG(IT rans, IRef)是使用预训练V GG - 16网络的Relu 4 - 1层全部512个feature map的两幅图像之间的L2距离
VGG损失提高了鲁棒性,因为成本函数考虑了在不同尺度上捕获信息的多个特征映射
对抗损失
循环一致性损失
实验:
实验一:colour fundus images and fluorescein angiography (FA) images 彩色眼底图像和荧光素血管造影(FA)图像
评价标准:
registration error (ErrDef) :应用变形场和恢复变形场之间的配准误差
95 percentile Hausdorff Distance (HD95):配准前后95% Hausdorff距离
mean absolute surface distance(MAD):配准前后的平均绝对表面距离
mean square error (MSE):配准后的FA图像与原始未变形的FA图像对比。