医学报告生成 Automatic Radiology Repor

Yuan J, Liao H, Luo R, et al. Automatic radiology report generation based on multi-view image fusion and medical concept enrichment[C]//Medical Image Computing and Computer Assisted Intervention–MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13–17, 2019, Proceedings, Part VI 22. Springer International Publishing, 2019: 721-729.

论文导读

撰写医学报告需要专家，且很费时，因此需要可靠的自动生成报告器来减少医生工作量。此外，医学报告生成比一般的ImageCaption任务难，需要理解并把复杂的医学视觉内容和精确的自然语言描述联系起来。且网上可获取的数据集也比较少，更增加了任务的难度。本文提出了generative encoder-decoder model，专注于chest x-ray image and report。主要工作如下：

1. 在大量的chest x-ray上预训练encoder，分类常见的14种影像学结果，并通过加强跨视图（视图是说从不同角度拍摄的医学影像）的一致性利用多视图图像。
2. 以后期融合的方式，基于sentence-level attention机制合成了multi-view visual features。
3. 为了用描述性语义丰富解码器并加强确定性医学相关内容（例如解剖学名词，病变名词）的正确性，我们根据训练数据中的放射学报告提取医学概念，fine-tune encoder以提取最常见的医学概念。这些概念通过word-level attention加入到decoder的每一个step中。

模型结构

Multi-task CNN encoder + concept enriched hierarchical LSTM decoder

1. Image Encoder

Encoder使用ResNet152作为backbone，一共完成了三个任务：胸片观察结果分类，多标签任务；Medical concepts提取；视觉特征提取，提取出的特征为，是patch（local region）的数量，是每一个patch的维度。

1.1 Chest Radiographic Observations

14类别的多标签分类任务，使用BCEloss。此外，每个样本有两张输入图像，为了使模型在不同的view上保持一致性，使用了MSEloss。总的loss函数如下：

pre-training CNN loss

1.2 Medical Concepts

使用Semrep提取归一化的medical concepts，设置出现次数threshold为80，提取到69个。固定好与训练好的encoder，添加了另一个全连接层，对concept进行分类。

2. Hierarchical Decoder

2.1 Sentence Decoder with Attentions

sentence decoder 输入visual features，生成sentence hidden states。但是图像有两个view，需要对特征进行选择并融合，本文提出了三种fusion schemes：

fusion schemes

1. 直接拼接
2. 先拼接，再接Attention，使用之前的hidden state进行选择
3. 先visual-sentence Attentions得到hidden states之后，再融合。

计算公式如下：

visual attention weights ，最后的attended local features：，再和拼接起来输入到sentence LSTM中计算下一个hidden state。

2.2 Word Decoder with Attentions

计算流程和上面一样，需要前一步的hidden state，concept embeddings，生成权重，再计算concept feature。最后再和前一个word embedding拼接，去生成下一个。计算公式如下：

medical concept attention weights ，其中是第i个concept预测分布，即logits值，是concepts的embedding矩阵，总的attended medical concept feature 。使用Cross Entropy 当成损失函数计算生成词的分布：
Corss entropy loss function