吕乐：面向医学图像计算的深度学习与卷积神经网络（65ppt）

• 原文来自：新智元 （在新智元微信公众号回复1229，可下载全部PPT。）

【导读】本文是美国国家研究院健康临床中心（NIH-CC）吕乐在GTC DC上的演讲整理，主题有关利用深度学习和深度神经网络进行医学影像分析。

放射医学中的深度神经网络：预防和精确医学的角度

深度学习和深度神经网络对医学成像或医学影像分析有帮助吗？（答案是肯定的）

• 淋巴结应用程序包(52.9%→85%, 83%)
• 胰腺应用程序包 (~53%→81.14%，在遗传相似系数中)
• 肺(间质性肺病)应用程序包 + DL读取胸部X射线

复杂性和模块性

为什么以前的以及当前的计算机辅助诊断（computer-aided diagnosis，CAD）系统没有特别成功？

• 机器决策对于人类医生来说不好接受：优秀的医生讨厌使用它；不太优秀的医生会困惑，不知道如何使用 →人机协作的决策过程
• 使机器决策更易于理解对于协作系统来说非常关键 → 学习中级属性或嵌入？

预防医学：人类医生做不到的是什么（数百万的人口规模，至少这是不经济的）：人口风险分析

精确医学：a）精确医学中的新的生物标记物，能够更好地协助人类医生做出更精确的判断；b）用于诊断/治疗系统的患者水平相似性检索系统

应用的焦点：癌症成像

三类关键问题：

• 计算机辅助检测（CADe）和诊断（CADx）

• 医学图像分析中的语义分割

• 大型放射学影像数据库中的交替或联合文本/影像深度挖掘

自动淋巴结检测

• 由于淋巴结外观、位置和姿态的变化很大，检测很困难。
• 加之淋巴结与周围组织的对比度低。

浅层模型：使用线性分类器的二级层次结构的2D视图集合

HOG: Histogram of Oriented Gradients + LibLinear on recognizing 2D Views

淋巴结检测FROC的性能

多通道HOG特征图构造

单一模板结果

分类

混合模型的检测结果

深度模型：通过综合表征的卷积神经网络预测的随机集

卷积神经网络架构

实验结果

我们的结果与前人研究的结果比较

转移学习的可视化

微调后更好的本地化

失败的例子

可推广？ 通过微调AlexNet，对1186例患者（或2372 CTC体积）使用更深的CNN的结肠CADe结果

语义分割：自上而下还是自下而上的范式？

更准确的成像使用淋巴结体积作为生物标记，而不是基于直径的RECIST标准？

使用Holistically-Nested神经网络和CT成像中的结构化优化的自动淋巴结聚类分割

多尺度“缩小”R-ConvNet

DeepOrgan：通过双通道编码的R2-ConvNet

82 CT扫描的4倍CV性能

高于平均值的例子

用于自动胰腺分割的Holistically-Nested网络的空间聚合

更准确，更快？

通过多标签深度学习的整体ILD预测

使用深度神经网络学习阅读胸部X光片

使用MeSH的阅读结果更准确，标注更“像人类”

在大型放射学数据库（780K / 62K患者）交替文本/影像深度挖掘的自动影像解释

大规模放射数据库中的交替文本/图像深度挖掘？

无监督循环深度Pseudo-task优化

五级层级分类

层级分类样本

LDPO-PM框架

场景识别数据集

结果：监督分类的学习特征