美文网首页医学图像配准论文阅读
使用GAN对X光图像进行配准和分割2019-09-30

使用GAN对X光图像进行配准和分割2019-09-30

作者: 一只大南瓜 | 来源:发表于2019-09-30 13:58 被阅读0次

题目:Joint Registration And Segmentation Of Xray Images Using Generative Adversarial Networks

概要:

论文主要采用了多任务学习联合分割和配准任务进行学习。主要在X光图像上进行实验。生成器来进行配准,在这个过程中用到了分割图的相似性。判别器用来判断真假。

1、介绍

图像配准和分割是许多医学图像分析中必不可少的步骤。配准是重要的地图集建立(atlas building),纠正变形和监测病理变化的时间。分割是疾病识别、病理定位和器官功能检测的关键。精确的分割提高了配准,而准确的配准提高了分割。因此,联合配准和分割(JRS)框架有望在单独解决这两个问题的基础上得到改进。
本文特点:
1)将配准和分割结合在一个深度学习框架下,不需要再单独训练一个分割网络。
2)分割驱动配准,反之亦然。
3)不需要对ROI进行显式分割,依赖于GAN动态生成分割,并将其用在配准任务中。

2、方法:

符号介绍


生成器有三个输出。判别器判断这三个输出和相应的训练数据的真假。再测试阶段只有生成器用得到。

损失

内容损失

其中:
NMI:参考图像和转换的图像之间的归一化互信息。
SSIM:结构相似性,但是论文中没有说明是什么图像之间的结构相似性
VGG:不同图像之间用训练好的VGG16提取出多个特征图的L2距离。文中用了VGG所有的特征图共3968个但依然没说是什么图像之间的VGG

对抗损失:

下面就用到了cycleGAN虽然没明白为啥要用cycle的损失。突然又要映射回原来的域。所以对抗损失就是类似域cycle的


生成器G的损失
对抗损失

其中:
dice metric (DM) : 转换后的分割图像和参考的分割图像之间的dice指标。
MSE: 回复的变形场图像和应用的变形场图像之间的均方误差然后进行归一化(具体是什么不是太明白文章中也没详细说明)


循环一致性损失
总的损失函数为
总损失
总体结构
Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature maps (n) and stride (s) 1 for each convolutional layer.
图像分割的获得

由链接不同层的特征图,从而获取图像突出部分的信息获得图像的分割。类似于Unet。在本文中我们把每个卷积层的特征图相加然后二值化。

3、实验

在 NIH ChestXray14 dataset数据集上验证。选取420个不同病人的图像然后进行人工标注出与疾病相关的区域作为参考图像,然后剩下的1087张图像作为浮动图像。

结果

Table 1. Intra-patient image registration results for left and right lung using different methods on the NIH-14 database. T ime indicates computation time in seconds.

胡言乱语

感觉这个论文的逻辑有点emmm,如提出了cycle之后另外一个映射F,然后感觉就没用了,随意就丢掉了?感觉为了用cycle而用cycle。逻辑有点牵强呀。还有一些地方写的也有些不明不白的。应该是自己太菜看不明白把。但这种方法似乎只适用于单模态。在多模态中,语义损失究竟怎么度量也还是个问题。

相关文章

  • 使用GAN对X光图像进行配准和分割2019-09-30

    题目:Joint Registration And Segmentation Of Xray Images Usi...

  • 使用GAN实现可变形医学图像配准DEFORMABLE MEDIC

    题目 :使用GAN实现可变形医学图像配准 传统的深度学习配准方法都采用迭代方法,作者采用GAN实现了一种端到端的多...

  • 第六章 高级主题

    6.1 度量 6.1.1 使用多个指标和/或图像进行图像配准 到目前为止,我们将图像配准视为找到一个固定图像和一个...

  • 图像配准

    基于像素的图像配准 使用图像的像素点来进行直接比对配准的一种方法。使用基于像素的配准方法需要定义一个误差矩阵(er...

  • Surf特征

    在对未配准图像进行融合处理时,现在尝试着先对所有图像进行配准操作,在这儿用到的特征是SURF,SURF是SIFT的...

  • 对三种图像配准方法的说明

    图像配准,英文称为image alignment。本文将分别对四种图像配准的方法进行说明,即前向累加法(forwa...

  • 医学图像配准

    1. 图像配准简介 图像配准时指对一幅图进行一定的的几何变换映射到另一幅图中,使得两幅图像中的相关点达到空间上的一...

  • VS2013+CMake+OpenCV 环境搭建

    0x00 - 应用目的 笔者使用OpenCV主要目的是暂时完成图像的配准与融合,所以主要用到OpenCV中SURF...

  • 图像配准

    1. 图像配准的基本概念 Image registration 是指同一目标的两幅或者两幅以上的图像在空间位置的对...

  • 图像配准

    为了有效的避免退休拿过的灰度的非线性差异对匹配带来的影响,采用基于结构特征的特征信息的特征描述方法,研究光学与SA...

网友评论

    本文标题:使用GAN对X光图像进行配准和分割2019-09-30

    本文链接:https://www.haomeiwen.com/subject/revcpctx.html