引言
大家晚上好,
我这次分享的是,
来自MICCAI2022的Ynet
选这一篇,主要是因为
它和普通的分割网络不同,
它拥有两个编码器分支
(翻页)
捕获.JPG这篇文章的主要贡献是
他提出了 一种端到端自编码器的模型,
用于 视网膜层 和 流体层分割。
二是 作者提出的 频谱编码器
用于从图像中提取频域特征。
三是 Ynet的表现,不仅比 Unet好,而且
参数还比 Unet少
(翻页)
2.JPG下面就来看一下 Ynet
首先从外形上来看,有两组编码器
其中的,这半边的空间的编码器
和底下的解码器
这样看的话,
就是一个完整的Unet
作者的改进是,
加入了FFC卷积块,
用来提取OCT图像中的光学信息
这个FFC块,并不是作者提出的,
而是来自 ICMLA 2020 的一篇文章
这篇文章提出了FFC块,
也就是快速傅里叶变换块,,
在密集的细胞,数据集上进行分割,
初衷是 证明了 FFC能提高普通卷积快的速度
这个是 FFC块
有两个输入,一个是 xl,
就是初始的输入的图像,,
一个是xg, 这个初始值为0
之后这两个向量
会通过这边的卷积块
在通过 Batch Norm层 生成 xl`
同时这两个向量
还会通过 一个卷积,一个频谱块
提取光学信息,
在通过 Batch Norm层 生成xgxl
和 xg`又,
同时作为下一个FFC块的输入
频谱快,它里面是有一个
可以调节的超参数 a
这个a就可以控制
a百分比考虑全局信息
1-a百分比考虑局部信息
最后的这个灰色的块
是 应用快速傅里叶变换
得到 频域特征
最后,将处理后的信息
通过 IFFT带回空间域
(翻页)
1.JPG下面来看一下实验结果
第二列是 标签值
可以看到 Ynet在一些高亮区域上
标注会比 Unet要好
(翻页)
4.JPG这里的RelayNet是2017年的一篇文章
是第一次做视网膜视层分割网络
采用的也是类Unet结构
Langeage是MICCAI2020的一篇文章,
主要的创新是,将分割问题重新表述为语言处理,
也就是,不再将图像分成小块,
而是将图像视为一组像素序列。。
然后用 循环神经网络(RNN)来,
进行 OCT图像的分割。
这些列,都是视网膜的几个层
可以看到,Ynet 在某些层的标注上
比如说,ILM和Fluid层
要比 Uent要好一点
平均也比 Uent好一点
(翻页)
5.JPG这个就是对超参数 a 和
FFC块做了一些消融实验
第一行显示了Y-Net模型
在第二个分支中 使用正则卷积块的性能。
表格的其余部分显示了作者的模型,
在不同α值下的表现。
从这个表中,可以看到
最佳性能α值分别为0.25和0.5,
两个模型在流体分割中均达到0.93的Dice值,
在视网膜层分割中比其他模型好一点。
通过α的值既不太大(1)也不太小(0),
作者的模型能够将全局和局部特征关联起来,
从而获得最佳性能。
(翻页)
这个文章的优点就是,
它 借鉴了前人提出的 FFC块
用作编码器,
和 Unet 结合起来
形成了 Ynet。。
做实验验证了
Ynet比 Unet 在某些特定层
的划分要好
缺点就是
模型太复杂,容易过拟合
在保证模型精度不变的情况下,
可以通过降低模型复杂度来解决
这篇文章给我的启发就是,
如果能通过一种方法
把全局特征和局部特征结合起来
应该能提高模型的性能
除了常见的
把transformer 和 卷积 结合起来的模型。
还有,像MedT的logo策略中,
的global分支,用浅层的卷积网络
提取相对全局信息
又比如,这篇文章的a变量
可以调节全局特征和局部特征的比例
如果能有一种更好的结合起来的办法
应该也能提高模型的性能。
(翻页)
大家有什么问题吗?
没有的话,那我就结束了
网友评论