论文：https://arxiv.org/ftp/arxiv/papers/1802/1802.06955.pdf
摘要
基于深度学习(DL)的语义分割方法在过去几年已经提供了最先进的性能。更具体地说，这些技术已经成功地应用于医学图像的分类、分割和检测任务。一种深度学习技术，U-Net，已经成为最受欢迎的应用之一。本文提出了一种基于U-Net的递归卷积神经网络(RCNN)和一种基于U-Net模型的递归剩余卷积神经网络(RRCNN)，分别命名为RU-Net和R2U-Net。该模型利用了U-Net、残差网络和RCNN的能量。这些被提议的架构对于分割任务有几个优点。首先，在培训深度架构时，residual 单元是有帮助的。其次，利用循环残差卷积层进行特征积累，可以更好地表示分割任务的特征。第三，它允许我们设计更好的U-Net架构，具有相同数量的网络参数和更好的医学图像分割性能。该模型分别在视网膜图像血管分割、皮肤癌分割和肺部病变分割三个基准数据集上进行了测试。实验结果表明，与包括UNet和 Residual U-Net (ResU-Net)在内的等价模型相比，分割任务具有更好的性能。
1. 介绍
目前，深度学习为图像分类[1]、分割[2]、检测和跟踪[3]以及字幕显示[4]提供了最先进的性能。自2012年以来，已有多个深度卷积神经网络（DCNN）模型被提出，如AlexNet[1]、VGG[5]、GoogleNet[6]、Residual Net[7]、DenseNet[8]和CapsuleNet[9]、[65]。基于DL的方法（尤其是CNN）为分类和分割任务提供了最先进的性能，原因如下：首先，激活函数解决了DL方法中的训练问题。第二，dropout有助于网络规范化。第三，几种有效的优化技术可用于训练CNN模型[1]。然而，在大多数情况下，模型是在非常大的数据集（如ImageNet[1]）上使用分类任务来探索和评估的，其中分类任务的输出是单标签或概率值。另外，小型的体系结构变体模型用于语义图像分割任务。例如，全连接卷积神经网络（FCN）也为计算机视觉中的图像分割任务提供了最新的结果。还提出了FCN的另一种变体，称为SegNet[10]。
由于DCNNs在计算机视觉领域的巨大成功，该方法的不同变体被应用于医学成像的不同模式，包括分割、分类、检测、配准和医疗信息处理。医学影像来自于不同的影像技术，如计算机断层扫描(CT)、超声、x射线和磁共振成像(MRI)。计算机辅助诊断(CAD)的目标是获得更快更好的诊断，以确保在同一时间更好的治疗大量的人。此外，无需人工参与的高效自动处理可以减少人为错误，并降低总体时间和成本。由于手工分割方法的过程缓慢且繁琐，因此对无需人工干预即可快速准确分割的计算机算法有着很大的需求。然而，医学图像分割存在数据稀缺性和类别不均衡性等局限性。在大多数情况下，训练所需的大量标签（通常是数千个）不可用，原因有几个[11]。标记数据集需要这个领域的专家，这是昂贵的，并且需要大量的工作和时间。有时，会使用不同的数据转换或增强技术(数据增白、旋转、平移和缩放)来增加可用标记样本的数量[12,13,14]。此外，基于patch的方法被用来解决阶级不平衡问题。在这项工作中，我们评估了基于patch和基于整个图像的方法。然而，要从基于patch的方法切换到基于像素的方法，以处理整个图像，我们必须意识到类别不平衡问题。在语义分割的情况下，给图像背景分配一个标签，给前景区域分配一个目标类。因此，类别不平衡问题得到了很好的解决。在[13,14]中，为了有效地训练分类和分割任务，引入了交叉熵损失和dice相似度两种先进的技术。
此外，在医学图像处理中，全局定位和上下文调制经常被用于定位任务。在识别任务中，每个像素被分配一个类标签，该类标签具有与目标病变轮廓相关的期望边界。为了定义这些目标病变边界，我们必须强调相关像素。医学成像中的地标检测[15，16]就是一个例子。在DL革命之前，有几种传统的机器学习和图像处理技术可用于医学图像分割任务，包括基于直方图特征的幅度分割[17]、基于区域的分割方法[18]和基于图割的方法[19]。然而，近年来，在医学图像分割、病变检测和定位等领域，利用DL的语义分割方法已经成为非常流行的方法[20]。此外，基于DL的方法被称为通用学习方法，其中单个模型可以有效地用于不同的医学成像模式，如MRI、CT和X射线。
根据最近的一项调查，DL方法几乎适用于所有的医学影像学模式[20,21]。此外，在不同医学影像学模式的分割任务方面发表的论文数量最多[20，21]。文献[22]提出了一种基于DCNN的脑肿瘤分割与检测方法。
从架构的角度来看，用于分类任务的CNN模型需要一个编码单元，并提供类概率作为输出。在分类任务中，我们使用激活函数进行卷积运算，然后使用子采样层来降低特征映射的维数。当输入样本遍历网络层时，特征映射的数目增加，但特征映射的维数降低。如图2中模型的第一部分(绿色部分)所示。由于特征图的数量随着深度的增加而增加，网络参数的数量也相应增加。最后，在网络的末端应用Softmax操作来计算目标类的概率。
图2
与分类任务不同，分割任务的结构需要卷积编码和解码单元。该编码单元用于将输入图像编码成更大数量的低维映射。解码单元用于执行上卷积(反卷积)操作，生成与原始输入图像具有相同维数的分割图像。因此，与分类任务的体系结构相比，分割任务的体系结构通常需要几乎两倍的网络参数。因此，设计高效的DCNN结构来分割任务是非常重要的，它可以在较少网络参数的情况下保证更好的性能。
图1
本研究证明了两种改进的分割模型，一种使用递归卷积网络，另一种使用递归残差卷积网络。为了实现我们的目标，所提出的模型如图2所示。U-Net体系结构由卷积编码和解码单元组成，这些单元以图像为输入，生成各自像素类的分割特征图。对图1所示的不同医疗成像方式进行评估。这项工作的贡献可以总结如下:
1)介绍了医学图像分割的两种新模型RU-Net和R2U-Net。
2)分别以视网膜血管分割、皮肤癌分割、肺分割三种不同的医学影像方式进行实验。
3)分别对基于patch的视网膜血管分割方法和基于端到端图像的皮肤损伤和肺分割方法的模型进行了性能评价。
4)与最近提出的最先进的方法进行比较，这些方法与具有相同数量网络参数的等效模型相比具有更好的性能。
论文的结构安排如下：第二节论述了相关工作。第三节介绍了所提出的RU-Net和R2U-Net模型的体系结构，第四节说明了数据集、实验和结果。第五节讨论了本文的结论和未来的发展方向。
2. 相关工作
2016年提出了一种深轮廓感知网络（deep ContourAware Networks,DCAN），利用层次结构提取多层次的上下文特征，对组织学图像进行精确的腺体分割，在分割时表现出很好的性能[34]。此外，Nabla网络：2017年提出了一种深度挖掘式卷积结构用于分割[35]。
针对医学图像的三维分割问题，提出了基于U-Net的深度学习方法。用于体积分割的3D-Unet体系结构从注释稀疏的体积图像中学习[13]。提出了一种基于体积图像的端到端三维医学图像分割系统V-net，该系统由带残差连接的FCN组成[14]。本文还介绍了一个dice loss层[14]。此外，在[36]中提出了一种三维深度监督的医学图像自动分割方法。2016年，High-Res3DNet被提议使用残差网络进行3D分割任务[37]。2017年，提出了一种基于CNN的脑肿瘤分割方法，使用3D-CNN模型和全连接的CRF[38]。在[39]中提出了胰腺分割，在2016年又提出了Voxresnet，采用深度体素残差网络进行脑分割。该架构利用了残差网络和来自不同层的特征映射的[40]。
另外，我们提出了两种基于U-Net架构的语义分割模型。提出的基于U-Net的递归卷积神经网络(RCNN)模型命名为RU-Net，如图3所示。此外，我们还提出了一个基于残差RCNN的U-Net模型，称为R2U-Net。下一节将提供这两个模型的体系结构细节。
图3:基于循环卷积层(RCL)的U-Net结构，具有卷积编解码单元的RU-Net结构。残差单元与RCL一起用于R2U-Net架构。
3. RU-NET AND R2U-NET模型结构
受深度残差模型[7]、RCNN[41]和UNet[12]的启发，我们提出了两种分割任务模型RU-Net和R2U-Net。这两种方法利用了最近开发的三种深度学习模型的优点。RCNN及其变体已经显示出在使用不同基准的对象识别任务上的优异性能[42，43]。根据文献[43]中改进的残差网络，可以从数学上证明递归残差卷积运算。递归卷积层（RCL）的操作是相对于根据RCNN表示的离散时间步来执行的[41]。
R2U-Net全称叫做Recurrent Residual CNN-based U-Net[9]。该方法将残差连接和循环卷积结合起来，用于替换U-Net中原来的子模块，如下图所示：
图4
其中环形箭头表示循环连接。下图表示了几种不同的子模块内部结构图，(a）是常规的U-Net中使用的方法，(b)是在(a)的基础上循环使用包含激活函数的卷积层，（c)是使用残差连接的方式，(d)是该文章提出的结合（b）和（c)的循环残差卷积模块。
所提出的深度学习模型是如图4(b)和(d)所示的叠加卷积单元的构建块，本文评估了四种不同的体系结构。首先，使用U-Net的前向卷积层和特征连接作为U-Net[12]原始版本中的裁剪和复制方法的替代方法。该模型的基本卷积单元如图4(a)所示。其次，使用具有残差连接的前向卷积层的U-Net，通常称为残差U-Net (ResU-Net)，如图4(c)[14]所示。第三种架构的U-Net，具有前向循环卷积层，如图4(b)所示，命名为RU-Net。最后一种结构的U-Net，具有循环卷积层和残差连接，如图4(d)所示，称为R2U-Net。未展开的RCL层对时间步长的图形表示如图5所示。这里t=2(0 ~ 2)指的是一个循环卷积操作，包括一个单卷积层，后接两个连续的循环卷积层。在这个实现中，我们将RUNet和R2U-Net模型的特征映射从编码单元串联到解码单元。
图5:展开的循环卷积网络
提出的模型与U-Net模型之间的差异有三方面。该体系结构由与U-Net相同的卷积编码和译码单元组成。然而，在编码和解码单元中，RCLs和带有剩余单元的RCLs代替了常规的前向卷积层。带有RCLs的剩余单元有助于开发更有效的更深入的模型。其次，两种模型的RCL单元都包含了有效的特征累积方法。基于cnn的医学图像分割方法显示了特征从网络的一个部分到另一个部分积累的有效性。在这个模型中，元素方面的特征求和是在U-Net模型[32]之外进行的。该模型只在训练过程中以较好的收敛性的形式表现出了好处。然而，由于模型内部的特性积累，我们提出的模型显示了在训练和测试阶段的好处。相对于不同的时间步长的特征积累确保了更好和更强的特征表示。因此，它有助于提取非常低层次的特征，这些特征对于不同医学成像方式的分割任务(如血管分割)是必不可少的。第三，我们从基本的U-Net模型中删除了裁剪和复制单元，只使用了连接操作，从而得到了一个非常复杂的体系结构，从而获得了更好的性能。
与U-Net相比，使用所提出的体系结构有几个优点。首先是网络参数数量方面的效率。提出的RU-Net和R2U-Net体系结构与U-Net和ResU-Net相比具有相同数量的网络参数，并且RU-Net和R2U-Net在分割任务上表现出更好的性能。循环和残差操作不会增加网络参数的数量。然而，它们确实对培训和测试性能有显著影响。这是通过以下[43]部分的一系列实验得到的经验证据。这种方法也是可推广的，因为它很容易应用于基于SegNet[10]、3D-UNet[13]和VNet[14]的深度学习模型，提高了分割任务的性能。
4. 实验设置与结果
在本例中，我们使用了t=3的时间步长，它表示一个正卷积层，然后是三个递归卷积层。本网络用于皮肤和肺部病变的分割。虽然网络参数的数量相对于递归卷积层的时间步长增加了一点，但在表II和表III的最后几行中可以清楚地看到性能的进一步提高。此外，我们还评估了这两种模型的视网膜血管分割和基于端到端图像的皮肤和肺部病变分割。
5. 结论和未来工作
本文利用递归卷积神经网络和递归残差卷积神经网络对U-Net体系结构进行了扩展。提出的模型分别称为“RU-Net”和“R2U-Net”。这些模型在医学成像领域使用了三种不同的应用，包括视网膜血管分割、皮肤癌病变分割和肺分割。实验结果表明，在相同网络参数的情况下，提出的RU-Net和R2U-Net模型在分割任务上的性能优于现有的方法，包括在所有三个数据集上的U-Net和残差U-Net(或ResU-Net)模型。结果表明，所提出的模型不仅在训练阶段保证了较好的性能，而且在测试阶段也保证了较好的性能。在未来的研究中，我们将探索从编码单元到解码单元的同一体系结构和新的特征融合策略。
网友评论