美文网首页医学图像配准论文阅读
使用GAN实现可变形医学图像配准DEFORMABLE MEDIC

使用GAN实现可变形医学图像配准DEFORMABLE MEDIC

作者: 一只大南瓜 | 来源:发表于2019-09-25 14:47 被阅读0次

    题目 :使用GAN实现可变形医学图像配准

    传统的深度学习配准方法都采用迭代方法,作者采用GAN实现了一种端到端的多模态图像配准方法,消除了传统方法耗时的迭代直接生成有变形场的配准图像。
    前人工作:
    Sokooti et. al.[6]提出RegNet,它使用经过模拟变形训练的CNNs为一对单一模态图像生成位移向量场。
    Vos et. al. [7][提出了一种可变形图像配准网络(dir - net),它以一对固定图像和一对运动图像为输入,非迭代地输出变换后的图像。训练是完全无监督的,不像以前的方法,它没有经过已知配准转换的训练
    前人工作中需要改进的地方:
    1)使用空间对应的patches 来进行预测转换,但是在低对比度医学图像中寻找相应的patches是不容易的,可能会对配准任务产生不利影响
    2)多模态配准由于其固有的寻找空间对应斑块的问题,使得其配准方法具有挑战性

    1. 使用基于强度的代价函数限制了基于DL的图像配准框架的优势
      主要创新点:
      1)利用GANs进行多模态医学图像配准,可以恢复更复杂的变形范围
      2)损失函数的改进,加入VGG,SSIM损失和变形场可逆性(deformation field reversibility变形场可逆性,emmm感觉怪怪的)
      对于多模态配准,我们使用cGANs来保证生成的输出图像(即,转换后的浮动图像)与浮动图像具有相同的特征(强度分布),而与参考图像(不同模态)具有相似的位置。可以通过在图像生成的损失函数中加入适当的约束来实现。此外,我们加强变形一致性,以获得真实的变形场。这可以防止不切实际的配准,并允许任何图像作为参考或浮动图像。不需要对网络进行再训练,就可以从不属于训练集的模式中注册新的测试图像对。

    网络结构:

    Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature maps (n) and stride (s) 1 for each convolutional layer.

    生成网络:




    配准后的图像为I_trans
    待配准的图像为I_Flt
    固定图像为I_Ref
    I_trans 应该和I_Flt有相同的强度分布,和I_Ref有相同的结构信息
    NMI(ITrans, IRef)表示IRef和IT rans之间的归一化互信息(NMI)(normalized mutual information)再多模态配准任务中常使用
    SSIM(IT rans, IRef)表示结构相似度指标(SSIM)[13],基于边缘分布等计算图像相似度
    保证结构相似性
    V GG(IT rans, IRef)是使用预训练V GG - 16网络的Relu 4 - 1层全部512个feature map的两幅图像之间的L2距离
    VGG损失提高了鲁棒性,因为成本函数考虑了在不同尺度上捕获信息的多个特征映射

    对抗损失

    image.png
    循环一致性损失
    image.png

    实验:

    实验一:colour fundus images and fluorescein angiography (FA) images 彩色眼底图像和荧光素血管造影(FA)图像

    评价标准:
    registration error (ErrDef) :应用变形场和恢复变形场之间的配准误差
    95 percentile Hausdorff Distance (HD95):配准前后95% Hausdorff距离
    mean absolute surface distance(MAD):配准前后的平均绝对表面距离
    mean square error (MSE):配准后的FA图像与原始未变形的FA图像对比。


    表1。对比视网膜图像配准前后不同方法的平均性能。Time表示配准一个测试映像对所需的时间(以秒为单位)。
    Fig. 2. Example results for retinal fundus and FA registration. (a) Color fundus image; (b) Original FA image; (c) ground truth difference image before simulated deformation; (d) Deformed FA image or the floating image; Difference image (e) before registration; after registration using (f) GANReg; (g) DIRNet; (f) Elastix .

    实验二:心脏图像配准

    Fig. 3. Example results for cardiac RV registration. Superimposed contours of the ground truth (red) and deformed segmentation mask of moving image (green): (a) before registration; after registration using (b) GANReg; (c) DIRNet; (d) Elastix.

    相关文章

      网友评论

        本文标题:使用GAN实现可变形医学图像配准DEFORMABLE MEDIC

        本文链接:https://www.haomeiwen.com/subject/xqqzectx.html