3D convolutional neural networks

论文：Computerized Medical Imaging and Graphics 2019

数据集：BraTS 2017

1. Introduction

胶质瘤是最常见的原发性脑肿瘤，约占恶性脑肿瘤的80%。它们起源于大脑或脊柱的胶质细胞，可根据细胞类型、等级和位置进行分类。高等级胶质瘤（III级和IV级）与特别差的预后有关：被诊断为多形性胶质瘤的病人在治疗中平均存活12-14个月。医学影像，如MRI，被用于诊断、治疗计划和监测胶质瘤。

不同的肿瘤组织（坏死核心、活动边缘、水肿）可以使用多种MR序列进行成像。例如，T2-FLAIR序列适用于检测水肿，而注射钆基造影剂后获得的T1加权MR图像适用于检测肿瘤核心的活动部分（图）。
1 ). 这些肿瘤组织可以用不同的疗法进行治疗，对它们的分析对于评估肿瘤的特征，特别是其恶性程度非常重要。

肿瘤的人工分割是一项具有挑战性和耗时的任务。此外，人类专家产生的分割结果之间存在着很大的差异。一个准确的自动分割方法可以通过提供肿瘤亚区的准确定位和精确量化它们的体积来帮助治疗计划和监测肿瘤的发展。

肿瘤在位置、大小和形状上的可变性使其难以使用概率先验法。核磁共振图像中代表肿瘤组织的体素的图像强度与其他病变或健康结构的强度高度重合。此外，由于采集系统和临床方案的不同，各成像中心的MR图像强度范围也有很大差异。由于这些方面的原因，为了确定某个位置是否存在肿瘤，必须对高层次的背景信息进行分析。

已有大量的方法被提出来用于多类肿瘤分割。2012年，多模态脑肿瘤分割挑战赛（BRATS）正式启动。第一组方法对应的是基于病人扫描结果与脑图集登记的生成模型，提供不同组织的空间变化的概率先验。在Prastawa等人（2004）的方法中，肿瘤分割是由病人扫描和健康大脑图谱之间的差异引导的。这种方法的一个局限性是，它忽略了由肿瘤引起的质量效应（邻近健康结构的变形），这可能导致不正确的登记。在GLISTR等方法中，作者建议通过使用肿瘤生长模型来修改健康图集，并对修改后的脑图集进行联合分割和登记。这些方法的优点是考虑到了肿瘤的特征，然而，使用肿瘤生长模型会带来额外的复杂性，对肿瘤种子数量的估计也是不容易的。Cordier等人（2016年）也提出了一种基于搜索相似图像斑块的多图谱方法。

与体素分类器相对应的判别模型，如SVM（Bauer等人，2011年）或随机森林（Ho，1995年），获得了令人鼓舞的结果。例如，Geremia等人（2012年）提出通过随机森林对多模态MRbrain图像的每个体素进行分类，使用的特征是捕获来自相邻体素和远处区域的信息，如大脑的对称部分。最近，Le Folgoc等人提出了Lifted Auto-Context Forests（Le Folgoc等人，2016），这是一种基于级联随机森林的高效方法，利用标签的语义逐步分割肿瘤子类。

近年来，卷积神经网络（LeCun等，1995）在图像分类（He等，2016）、检测（Sermanet等，2013）和分割（Long等，2015）的许多任务中取得了最先进的成果。特别是，CNN的表征学习能力对于肿瘤分割任务来说是一个相当大的优势，因为在肿瘤分割中，判别性图像特征的设计是不容易的。Pereira等人（2015）和Kamnitsas等人（2016）的基于CNN的方法分别在BRATS 2015和BRATS 2016挑战中获得了最佳表现。完全卷积神经网络（Long等人，2015）被用于大多数最先进的分割方法中，特别是最近我们观察到对三维完全卷积神经网络的特别兴趣（Dou等人，2017）。许多方法包括后处理步骤，通常基于条件随机场（Lafferty等人，2001）或数学形态学（Serra和Soille，2012）。

尽管这些方法取得了很好的效果，但在大型医疗图像中分割肿瘤仍然是一项非常具有挑战性的任务。CNN的一个主要缺点是它们的计算成本，这是因为在输入图像上应用了数千种昂贵的操作（卷积、池化、上联）。这方面对于大型医疗图像（如MRI或CT扫描）中的分割问题来说特别有问题。尽管提出了各种各样的神经网络架构，但目前基于CNN的系统很难从输入图像中捕捉到大的三维背景。此外，大多数方法隐含地假设所有病人的所有MR序列的存在和序列之间的正确登记，而这些条件在实践中并不一定成立。

在本文中，我们提出了一个基于二维三维模型的高效系统，其中二维CNN提取的特征（从三个正交方向的长距离二维背景中获取丰富信息）被用作三维CNN的额外输入。

我们提出了一个二维模型（处理输入图像的轴向、冠状或矢状切片），在这个模型中，我们引入了一种处理不同MR序列的替代方法。在许多CNN中，包括前面提到的最先进的深度学习模型，输入的MR图像的所有通道直接由网络的第一个卷积层结合。我们提出了一个由特定模态的子网络（可以独立训练）和结合所有输入模态的联合部分组成的架构。这样的设计允许在缺少MR序列的图像上训练网络的一个部分，同时也可以从所有MR序列的组合中提取丰富的信息。

我们建议将二维CNN学习到的特征作为三维CNN的额外输入，以便在绕过计算限制的同时捕捉从非常大的空间背景中提取的丰富信息。与标准的三维模型相比，这样的设计大大增加了感受野的大小，因为它只把一个子容积的体素的原始强度作为输入。

为了结合不同网络结构的优势，我们引入了一个体素投票策略，以合并由几个模型产生的多类分割。最后，我们设计了一种简单而稳定的训练算法，特别适合于训练大型模型。

我们在BRATS 2017挑战赛验证集的多序列MR图像中对恶性脑瘤进行多类肿瘤分割的挑战性任务上，使用公共基准对我们的方法进行了评估。在所进行的实验中，我们的2D-3D方法优于标准的3D模型（其中CNN仅将子卷的体素的原始强度作为输入），我们的系统在挑战中考虑的三个肿瘤子区域（整个肿瘤、肿瘤核心和对比度增强核心）的Dice得分中值分别为0.918、0.883和0.854，取得了令人鼓舞的结果。我们的方法可以适用于医学成像中大量的多类分割任务。