一.医学报告生成方向(自然语言处理)
1.Cross-modal Memory Networks for Radiology Report Generation.论文链接:
https://arxiv.org/abs/2204.13258
总结:论文工作利用一个关键的M记忆矩阵,存储信息。通过衡量视觉特征鱼语义特征与其的距离远近,从而选取一部分离得近的点用于表示视觉与文本各种的query特征,然后经过矩阵的映射得到各自的response,视觉的reponse传入编码器,文本的response传入解码器
M类似与一个存储器既能被视觉所用也能被文本所用2.
网友评论