论文：Neurocomputing 2020
代码：https://github.com/JalexDooo/BrainstormTS
数据集：BraTS 2018，BraTS 2019
Introduction
根据NCDB[1]，最常见的组织学类型为胶质母细胞瘤、星形细胞瘤和脑膜瘤，这些肿瘤的5年生存率分别为2%、30%和70%。在美国，每年有13,000名患者死亡，29,000名患者患有原发性脑肿瘤[2]。组织学、诊断时的年龄、行为和位置是估计生存率的重要变量。
脑胶质瘤是最常见的脑肿瘤，其死亡率最高。它们可以分为两级:低级别胶质瘤(LGG)和高级别胶质瘤(HGG)。HGG是一种侵袭性更强的疾病，中位生存率为2年或更少。生长缓慢的低级别变异，如低级别星形细胞瘤或少突胶质细胞瘤，通常使寿命预期数年[4]。这些肿瘤影响5至10岁的儿童和40至65岁的成年人。此外，这些肿瘤占所有恶性脑肿瘤的81%，占所有原发性脑肿瘤的45%[6,7]。目前的治疗方法包括手术、化疗、放疗或两者的结合。由于患者人数众多，而且有大量的医疗数据，如计算机断层扫描（CT）、磁共振成像（MRI）、正电子发射断层扫描（PET）和X射线，因此可以开发治疗患者的新技术。本文提出的方法适用于脑肿瘤中胶质瘤的分割。
此外，MRI是大脑结构分析中常用的一种基本方式，因为它可以提供软组织高对比度和高空间分辨率的图像，并可以评估未知的健康风险[4,8]。此外，放射科医生生成四种标准的MRI图像诊断胶质瘤:天然(T1)、对比后T1加权(T1c)、T2加权(T2)和T2加权液体衰减反转恢复(T2- flair)。然后，对胶质瘤肿瘤的每个区域进行逐像素切片分割，直到将3D大脑图像划分为增强肿瘤(ET)、肿瘤核心(TC)、整个肿瘤(WT)和正常组织四个有意义的区域。与T1相比，ET表现为高强度的区域，但与健康的T1c白质相比也表现为高强度的区域。TC描述了大多数通常被切除的肿瘤。TC包括ET，以及肿瘤坏死(充满液体)和非强化(固体)部分。与T1相比，坏死(NCR)和非增强(NET)肿瘤核心的表现在T1c是典型的低信号。WT描述了疾病的完整范围，因为它包含了TC和瘤周水肿(ED)，这是Flair中典型的高强度信号。之后，这个分割图被用于治疗、手术计划和随访，以确定肿瘤是否在生长或萎缩。对于几乎所有的病人来说，这通常需要至少2个月的时间。很少患者接受这种治疗5年[6]。因此，对病变组织进行有效的分割和定量评估对于制定治疗计划、监测疾病进展和预测患者结局[9]具有重要意义。
为了评估脑肿瘤的MRI图像，放射科专家需要利用MRI的空间信息结合生理和解剖学知识对图像进行分割。然而，与自动分割相比，人工分割不仅成本高、耗时，而且由于人为失误，分割结果也不准确[10,11]。通常，放射科医生花费3到5小时来完成像素到像素的分割工作[12,13]。此外，手动分割的Dice得分在74% -85%[4]范围内。因此，医生通常使用粗略的方法进行评估。特别是在胶质瘤中，肿瘤区域除了肿瘤内部的正常组织外，还有不同的结构:NCR、NET和ED，因此提出了精确的半自动或全自动方法供临床应用。
在计算机视觉领域，LeNet体系结构[14]是最早用于手写数字识别的卷积神经网络(convolutional neural network, CNN)形式之一。具体来说，它由两个卷积层组成，每个卷积层后面是一个子采样层(最大池化)来提取特征。然后，他们使用两个完全连接的层作为分类器提取特征。2012年，一个团队开发了一种名为AlexNet[15]的深度学习方法，该模型是第一个大规模CNN模型，导致深度神经网络在计算机视觉方面的复兴。该架构在2012年的ImageNet大规模视觉识别挑战赛(ILSVRC)中以极大的优势获胜。此外，自2014年以来，许多深度学习方法被提出用于脑肿瘤的分割。近年来，有关脑肿瘤分割的论文发表数量呈指数级增长。
脑肿瘤分割的首要目标是提高分割精度。人工智能在医学成像中的应用还处于早期阶段[16,17]。如何获得最准确、最可靠的神经胶质瘤分割有三个挑战:
(i)首先也是最重要的挑战是复杂空间边界的分割，因为病变组织有整个肿瘤、增强肿瘤和肿瘤核心三个子区域。此外，核磁共振图像上的噪声包括血点、炎症和中风导致边界不清。为了解决这一问题，我们提出了一种基于全卷积神经网络(FCN)的深度学习模型。在该模型中，我们基于U-Net和ResNet模型，建立了多路径提取MRI图像的特征映射，并在空间上融合这些特征映射。我们提出的模型允许最大限度地提高病变组织的空间特征，并预测每个子区域的小边界。
(ii)第二个挑战是语义图像分割中常见的。它是关于在池化层和convolution striding[18]过程中特征的缩减。为了解决这一问题，我们通过使用跳连接将深度特征映射与浅层特征映射连接起来，这有助于FCN架构更好地定位肿瘤区域的边界。
(iii)第三个挑战是深度学习模型训练过程中的过拟合问题。我们的建议是在BraTS 2019数据集上进行评估的，该数据集包含来自不同患者的462张胶质母细胞瘤(HGG)和低级别胶质瘤(LGG)的MRI扫描。如果不对MRI图像进行预处理，深度模型很容易在有限的数据集上过拟合。为了解决这个问题，我们在训练阶段使用随机切片的方法进行数据增强。另外，我们在每一层采用批处理归一化的方法来建立模型，以避免过拟合问题。这些工作使分割预测更加准确，具有更好的泛化性。
Related works
在过去的十年中，发展了许多自动的脑肿瘤分割方法。一般来说，他们可以分为两类。(i)基于概率模型的机器学习。例如条件随机场(CRF)，随机福瑞斯特(RF)和支持向量机(SVM)，这些概率模型从不遵循特定模型的脑瘤模式中学习。这些方法由于其处理多类问题和大特征向量的能力而得到了广泛的应用。[19]提出了一种空间自适应射频分层分割，由粗到细。[20]使用半监督射频训练一个主题特定分类器用于术后脑瘤分割。(ii)深度学习方法。这些方法以数据驱动的方式学习特征表示，如三维卷积神经网络[21]、并行长短时记忆[22]和全卷积网络[23]。一些作者将概率模型(CRF, RF或SVM)结合起来，发展了新的深度学习模型[24-26]。
[27]将深度学习方法与机器学习方法相结合，成功应用于脑肿瘤的分割。另外，采用3D-CNNs[27,28]和2D-CNNs[3,29,30]模型构建肿瘤分割方法。虽然3D- cnn可以充分利用MRI数据的三维信息，但增加了计算成本和参数数量。因此，2d - cnn在脑肿瘤分割方法中被广泛采用。Havaei[29]构建了一个双路径CNN，包括一个卷积路径和一个完全连接的路径。[31]提出了一种结合空间卷积和深度卷积特征的2.5D CNN架构。
最近，完全卷积神经网络(fully convolutional neural networks, FCN)， CNN的一种新变体，在PASCAL VOC 2012[32]的分割竞争中获得了极大的兴趣。深度大大增加的深度卷积学习提高了分割任务的最新性能[33,34]，它通过用残差函数逼近目标函数而不是简单的层叠加来缓解优化退化问题，而残差块是层之间的跳跃连接网络。基于FCN的方法是深度学习在医学图像分割中的先驱工作，但这种体系结构的缺点是分割结果不够好。
然后，FCN的新变种U-Net成功地应用于生物医学图像分割[35]。在肿瘤分割中，基于完全卷积的U-Net架构是一种流行的高效分割网络[36-38]。[37]将U-Net与LSTM(递归神经网络)组件相结合，以扩大上下文信息。FCN的关键要素是上采样层和下采样层[39]。U-Net的架构通过下采样层[40]得到特征图。[41]提出了一种新的胶质瘤分割方法。他们将U-Net模型用于卷积分割，将预先训练的VGG16模型用于迁移学习，并将一个完全连接的分类器用于肿瘤分级。对于临床应用，挑战是如何在有限的计算预算中追求分割的最佳准确性。[42]构建层次解耦卷积网络(HDC-Net)一次性分割三维体积网络，是一种轻量级但高效的伪三维模型。[43]通过改进u -网络结构，开发了一种新的改进的全卷积网络。该网络在编码路径和解码路径之间采用了一种创新的上跳连接结构，增强了信息流，并引入了高效的级联训练策略，对脑肿瘤子区域进行顺序分割。利用一种模型分割胶质瘤的多模态MRI图像是一项具有挑战性的工作。[44]提出了一种多模态聚合网络(multi- mode aggregation network, MMAN)，该网络能够提取脑组织的多尺度特征，并利用多模态MRI图像中的互补信息进行快速准确的分割。他们使用不同核大小的膨胀卷积层来获得大规模的特征，而不会增加太多的参数和计算代价。[45]开发了一种新的多径自适应融合网络。在这个模型中，他们将ResNets中的skip-connection的思想应用到密集的block中，从而有效地保留和传播更多低级的视觉特征。[46]研究了U-Net模型在脑瘤、中风、白质高强度(WMHs)、眼睛、心脏、肝脏、肌肉骨骼、皮肤癌和神经元病理中的表现。他们报告了不同的u型扩展网络，并分析了它们的优缺点。
在这项工作中，受开创性的提议FCN和U-Net的启发，我们专注于三维深度多路径FCN架构使用卷积和转置卷积分割胶质瘤的MRI图像。我们提出了一种新的基于该网络的多路径肿瘤特征提取方法。在这种深度网络架构中，我们研究了3 × 3和5 × 5的内核大小的性能。我们发现，在这个体系结构中，小的内核比大的内核具有更少的权值，而大的内核具有更多的非线性。我们还研究了多路径方法的有效性，预处理阶段的性能和我们的模型的关键要素。另外，保持梯度独立和同分布是很重要的。我们的目标是在BraTS 2019验证数据集中获得更好的分段得分。
Pre-processing
裁切图片，随机切片，z-score标准化
1. 裁切图片
图1 左图 为原始图片，右图为裁切后的图片，将多余的背景切掉。
原始图像大小为155 × 240 × 240，裁切后大小为144 × 192 × 192(因为模型要进行4次下采样，所以图像要能被(16)整除)
图1：白色部分为病变
2. 随机切片
对于每一幅核磁共振图像，随机裁剪成9个切片。这一步骤可以有效地防止训练阶段的过度拟合。参考图2，我们随机抽取9个连续的3D序列，在MRI图像的第一维中长度为16。随机裁剪后，MRI图像的阵列大小为9× 16× 192× 192。
3.z-score标准化
Model
框架部分包括Architecture， Initialization，Activation function（leaky ReLU），Regularization（BN），Loss function（WCE），Training（ADAM）
网络中 dilate rate = 2，kernel = 3， 初始的channel为16。
简化的网络结构
Post-processing
主要针对enhancing tumor。根据BraTS的评分规则，如果一个病例ground truth里没有enhancing tumor，而预测出来的结果里有，DSC=0，反之DSC=1. 因此enhancing tumor的false positive对平均的得分影响较大。针对这个问题，后处理过程中把volume低于某个阈值（这里选用500）的enhancing tumor给remove掉了（移除的部分用necrosis（坏死）代替。阈值应该通过交叉验证来得到。）
网友评论