image.png
Predicting cancer outcomes from histology and genomics using convolutional networks
Abstract
这项研究中，我们展示了一种从数字病理图像中学习患者结果的计算方法，使用深度学习将自适应机器学习算法的能力与传统生存模型相结合。
使用统计抽样技术来解决从组织学图像中学习生存率的挑战、包括肿瘤异质性和对大量训练队列的需求。
我们展示了这些生存卷积神经网络(SCNNs-survival convolutional neural networks)如何将来自组织学图像和基因组生物标志物的信息整合到一个单一的统一框架中，以预测事件发生的时间结果，并显示出超越当前临床范式的预测准确性，用于预测诊断为胶质瘤的患者的总体生存。
我们还提供了对SCNNs预测机制的见解，使用热图可视化显示神经干细胞识别重要的结构，如微血管增殖，这些结构与预后相关，并被病理学家用于分级。
Significance
我们开发了一种基于深度学习的计算方法，通过组织活检和基因组生物标志物的显微图像来预测诊断为脑肿瘤的患者的总生存期。这种方法使用自适应反馈来同时学习与患者结果相关的视觉模式和分子生物标志物。我们的方法超越了人类专家使用当前临床标准对脑肿瘤进行分类的预后准确性，并为客观、准确和综合预测患者预后提供了一种创新方法。
Introduce
由许多层组成的更先进的“深度”神经网络最近被用于优化Cox比例风险可能性，并被证明在使用包含数百至数万个特征的基因组图谱(29，30)和使用包含14个特征的基本临床图谱(31)预测生存率方面具有同等或更好的性能。
对于大的队列研究，临床随访通常很难获得。已经采用数据增强技术来解决这个问题，其中使用对比度和亮度的随机旋转和变换来合成附加的训练数据(9，11，14，15，17，19，25，26，33)。
使用弥漫性胶质瘤作为驱动应用，我们展示了SCNNs的预测准确性如何与神经病理学家的手动组织学分级相媲美。我们进一步扩展了这种方法，将组织学图像和基因组生物标志物整合到一个统一的预测框架中，该框架超越了当前基于基因组分类和组织学分级的世卫组织范式的预后准确性。
Results
1用深度生存卷积神经网络学习患者结局
识别包含具有代表性组织学特征且无伪影的活肿瘤的感兴趣区域
然后，来自这些感兴趣区域的高功率场(HPF-High-power-fields)被用于训练深度卷积网络，该网络与考克斯比例风险模型无缝集成，以预测患者结果。
提取ROI→卷积层→完全连接层→Cox比例风险模型输出患者风险的预测
image.png
为了提高SCNN模型的性能，我们开发了一种采样和风险过滤技术来解决肿瘤内异质性和训练样本的有限可用性(图2)。
对于前瞻性预测，我们首先对每个感兴趣区域内的多个高性能文件进行采样，以生成患者的代表性字段集合。
在每个投资回报率内计算中位风险，然后对这些中位风险进行排序和过滤，以预测稳健的患者级风险，该风险反映了他们疾病的侵袭性，同时拒绝任何外围风险预测。
image.png
2.评估SCNN预测的准确性。
TCGA的769例胶质瘤;1，061张图像中的感兴趣区域。
使用蒙特卡罗交叉验证评估（Monte Carlo cross-validation）SCNN模型的预测准确性。
我们将队列随机分成成对的训练(80%)和测试(20%)集，生成15个训练/测试集对。
在配对测试集上评估这些模型的预测准确性，生成总共15个准确性测量值。
image.png
准确性是用哈雷尔c指数（Harrell’s c index）来衡量的，这是一种非参数统计，衡量预测风险和实际生存之间的一致性(36)。c指数为1表示预测风险和总生存期之间完全一致，c指数为0.5表示随机一致。
为了进行比较，我们还评估了基线线性Cox模型的预后准确性，该模型使用来自世卫组织胶质瘤分类的基因组生物标志物和手动组织学分级生成(图3A)。
涉及由异柠檬酸脱氢酶(IDH)基因(IDH1/IDH2)的突变和染色体1p和19q的共进化定义的三种基因组亚型。在这些分子亚型中，根据不同的标准，根据来源细胞(星形胶质细胞或少突胶质细胞)，胶质瘤被进一步划分为组织学分级。这些标准包括有丝分裂活性、核异型性、坏死的存在和微血管结构的特征(微血管增生)。
SCNN模型显示了相当大的预测能力，达到了0.754的中位c指数(图3B)。
在没有这些抽样技术的情况下重复SCNN实验将SCNN模型的中值c指数降低到0.696，明显差于使用抽样的模型(P = 6.55e-4)。
image.png
3.SCNN预测与分子亚型和手动组织学分级相关
SCNN预测的风险如何在分子亚型和组织学等级之间分布(图3C)。
SCNN预测与分子亚型和分级高度相关，并且与预期的患者结果一致。
其次，预测的风险与公布的与分子亚型相关的预期总生存率一致(37)。
人工组织学分级与基于SCNN风险预测的“数字分级”进行比较(图3D)。低、中、高风险类别通过设定SCNN预测阈值来建立。
在每一个亚型中，SCNN风险分类捕捉到的生存率差异与人工组织学分级高度相似。SCNN风险分类和手动组织学分级在IDH WT星形细胞瘤中具有相似的预后能力(对数秩分别为1.23e-12和7.56e-11)。
4.整合基因组生物标志物提高预后准确性
为了将组织学和基因组数据整合到一个统一的预测框架中，我们开发了一个基因组存活卷积神经网络(GSCNN模型--genomic survival convolutional neural network )。
GSCNN同时从基因组学和组织学中学习，将基因组数据整合到SCNN的全连接层中(图4)。
这两个数据都在训练期间呈现给网络，使得基因组变量能够通过提供分子亚型信息来影响SCNN学习的模式
image.png
我们使用组织学图像、IDH突变状态和1p/19q编码作为输入，使用GSCNN模型重复我们的实验，发现中位c指数从0.754提高到0.801。基因组变量的加入平均改善了5%的表现，GSCNN模型显著优于在同等数据(符号秩P = 1.06e-2)上训练的基线WHO亚型等级模型。
5.可视化与预后相关的组织学模式
深度学习网络经常被批评为黑箱方法，不能揭示对其预测机制的见解。
为了研究SCNN模型与不良结果相关的视觉模式，我们使用热图可视化来显示我们的网络在全幻灯片图像的不同区域预测的风险。
热图是使用训练有素的SCNN模型生成的，用于预测整张幻灯片图像中每个不重叠的HPF的风险，其中红色和蓝色分别表示较高和较低的SCNN风险。
（图5）SCNN热图清楚而明确地强调了早期微血管增殖区域，这是一种晚期血管生成形式，是恶性进展的标志，与高风险相关。
该热图中的风险也随着细胞结构、细胞核形状和大小的异质性(多形性)以及异常微血管结构的存在而增加。
模型可以发现现在未被认识到的病理结构等等；与肿瘤浸润相对较多的区域(区域2，顶部)相比，稀疏浸润区域(区域1，顶部)的风险更高。我们在TCGA TM-A84G中观察到类似的模式，其中与中度细胞肿瘤区域(区域1，顶部)相邻的水肿区域(区域1，底部)也被赋予更高的风险。
image.png
Methods
1、数据和图像管理
TCGA LGG GBM数据
数据处理：去除包含组织处理伪影的图像，包括气泡、切片褶皱、笔痕和染色不良。
手动识别主要包含肿瘤细胞核的代表性ROI。
1061WSI，769个病人
ROI图像(1，024 × 1，024像素)使用OpenSlide以20倍的物镜放大率进行裁剪
颜色标准化，resize to 256*256
2、网络架构和培训程序
图像特征：卷积提取
终端全连接层输出与输入图像相关的风险预测相关联
image.png
3、培训抽样。
在训练期间，从每个区域采样一个HPF，并且这些HPF被视为半独立的训练样本。每个HPF与患者结果配对进行培训，复制包含多个区域/高功率因数的患者的结果。
我们还使用“随机对比度”和“随机亮度”张量流操作生成对比度和亮度的随机变换。
4、测试抽样、风险过滤和模型平均
测试抽样、风险过滤和模型平均
(I)首先从对应于患者m的每个区域j中采样九个HPF，
(ii)然后使用训练的SCNN模型计算患者m在区域j中的第k个HPF的风险，表示为Rj，k m
(iii)使用上述HPF计算j区的风险中位数Rj m=mediankfRj，k mg，以剔除外围风险。
(iv)这些中值风险然后从最高到最低排序为R1 m > R2 m > R3 m...，其中上标指数现在对应于风险等级。
(v)然后选择患者m的风险预测作为第二高风险R* m=c R2 m。
5、验证程序
患者被随机分配到非重叠训练组(80%)和测试组(20%)，用于训练模型和评估其表现。
我们将患者训练/测试集的随机分配重复了15次，并使用这些训练/测试集来训练和评估模型。
6、统计分析
7、硬件和软件
测模型使用TensorFlow
预图像数据是从Aperio提取的。使用OpenSlide (openslide.org/)的svs全幻灯片图像格式。
网友评论