题目：Joint Registration And Segmentation Of Xray Images Using Generative Adversarial Networks
概要：
论文主要采用了多任务学习联合分割和配准任务进行学习。主要在X光图像上进行实验。生成器来进行配准，在这个过程中用到了分割图的相似性。判别器用来判断真假。
1、介绍
图像配准和分割是许多医学图像分析中必不可少的步骤。配准是重要的地图集建立（atlas building），纠正变形和监测病理变化的时间。分割是疾病识别、病理定位和器官功能检测的关键。精确的分割提高了配准，而准确的配准提高了分割。因此，联合配准和分割(JRS)框架有望在单独解决这两个问题的基础上得到改进。
本文特点：
1）将配准和分割结合在一个深度学习框架下，不需要再单独训练一个分割网络。
2）分割驱动配准，反之亦然。
3）不需要对ROI进行显式分割，依赖于GAN动态生成分割，并将其用在配准任务中。
2、方法：
符号介绍
生成器有三个输出。判别器判断这三个输出和相应的训练数据的真假。再测试阶段只有生成器用得到。
损失
内容损失
其中：
NMI：参考图像和转换的图像之间的归一化互信息。
SSIM：结构相似性，但是论文中没有说明是什么图像之间的结构相似性
VGG：不同图像之间用训练好的VGG16提取出多个特征图的L2距离。文中用了VGG所有的特征图共3968个但依然没说是什么图像之间的VGG
对抗损失：
下面就用到了cycleGAN虽然没明白为啥要用cycle的损失。突然又要映射回原来的域。所以对抗损失就是类似域cycle的
生成器G的损失
对抗损失
其中：
dice metric (DM) ： 转换后的分割图像和参考的分割图像之间的dice指标。
MSE: 回复的变形场图像和应用的变形场图像之间的均方误差然后进行归一化（具体是什么不是太明白文章中也没详细说明）
循环一致性损失
总的损失函数为
总损失
总体结构
Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature
maps (n) and stride (s) 1 for each convolutional layer.
图像分割的获得
由链接不同层的特征图，从而获取图像突出部分的信息获得图像的分割。类似于Unet。在本文中我们把每个卷积层的特征图相加然后二值化。
3、实验
在 NIH ChestXray14 dataset数据集上验证。选取420个不同病人的图像然后进行人工标注出与疾病相关的区域作为参考图像，然后剩下的1087张图像作为浮动图像。
结果
Table 1. Intra-patient image registration results for left and right lung using different methods on the NIH-14 database. T ime indicates computation time in seconds.
胡言乱语
感觉这个论文的逻辑有点emmm，如提出了cycle之后另外一个映射F，然后感觉就没用了，随意就丢掉了？感觉为了用cycle而用cycle。逻辑有点牵强呀。还有一些地方写的也有些不明不白的。应该是自己太菜看不明白把。但这种方法似乎只适用于单模态。在多模态中，语义损失究竟怎么度量也还是个问题。
网友评论