TMI是医学影像学顶级期刊！

引言

喂，大家晚上好，我是...
我今天分享的文章是，cat-net
是发表在 TMI上面的一篇文章
这个，TMI 是 医学影像领域的顶级期刊

image.png

（翻页）

image.png

首先说一下这篇论文的创新点
第一，他创新了 2.5D网络 。
第二，他设计 了一种新颖的
跨切片注意模块，，
也就是， (CAT) 模块。。
第三，他的模型，
能更好有分割的结果

什么是 他这里说的，
创新性的 2.5D 的网络呢？
他 和 传统的 2.5D 有什么区别呢？

就要看这边的这个图了

这里的 a 和 c 都不用过多的解释，
a就是传统的 2D 网络，
c是传统的 3D 网络

（b）一个传统的 2.5D 网络，
它接收 2 个附近的切片
分别是，i-1, i+1,
但是只预测中间切片的分割结果

（d）是 作者提出
新型的2.5D网络。。。
他新就新在，每一个切片，
都有对应的分割，
，而不是只预测中间切片的分割。。

它在对所有切片进行编码后，
这个灰色的块就是 CAT模块，，
通过 CAT模块 学习 跨切片的信息
然后返回到 2D 解码器
最后，得到分割的结果

（翻页）

image.png

作者现在提出了
能学习到 跨切片信息的 cat模块
然后，把这个模块 应用到 nnuet里面
就形成了 cat网络
当然，cat模块，也可以和nnunet++结合成

CAT网络 由三部 分组成：
标准 2D 编码器、标准 2D 解码器，
和不同层的 CAT 模块。
如果去掉CAT模块的话，就是一个纯2d的 类unet网络。

这个CAT模块，包含了位置编码 和 n 个 transformer 块

他提出的transfromer 块 ，
和 标准的 transfromer块，
是不一样的。。
他，把原来的 多头的注意力模块
换成了，多头跨切片的注意力模块

（翻页）

image.png

这个图，解释了，
cat模块是怎样，实现跨切片的信息

在标准的transformer块中，
key,value 和 query是同一个矩阵。

但是，CAT网络中，
他把原来的切片信息，
先进行池化压缩，然后在通过线形层展开，
这个新的切片，就拥有了所有切片的信息，
这样就实现了跨切片。
然后 得到了 Key，和 Query
剩下的softmax操作等等，就和 transfromer是一样的！

但是这样也有一个问题，
就是，他的模型比较消耗内存。
因为，标准的transfromer模型中
key，value, query，是同一个矩阵
而，作者的cat 网络中，key, query
也是需要保存下来的，，
这就 造成了
cat网络会更消耗内存

（翻页）

image.png

下面来看一下实验结果：
他测试了两个数据集，
一个是 内部的数据集，
另一个是 prostateX的公开数据集。。

定性来看，
CAT net 的结果，
要比其它的结果要好，
尤其是花箭头的地方

（翻页）

image.png

定量来看，
却是cat-net的结果，能实现更好的分割

（翻页）

image.png

然后他也做了一些消融实验
比如，去掉 transfromer 块，
或者，位置编码块
来证明，他模型的每一部分，
都是必不可少的

同时，也用这种 折线图的形式
证明了cat网络确实比其他的要好

（翻页）

image.png

这篇论文的优点是，
第一，他 首先 对 transformer块进行创新，
形成了 能学习到 跨切片信息 的 CAT模块

把CAT模块 应用到 nnunet网络中，
就形成了 cat net

第二，他论证结果的时候，
也是从多个角度分析的，
比如，定性，定量
折线图，消融实验等等
全面的验证了模型的可行性

他的缺点呢
刚才也说过了，
cat网络很消耗内存
比没有cat模块的网络，
参数量要大4倍以上

（翻页）

我的汇报结束了
大家还有什么问题吗？
没有的话，我就结束了