One Network to Segment Them All: A General, Lightweight System for Accurate 3D Medical Image Segmentation之image sampling
0. Abstract
这是一篇2019 MICCAI的关于3D image segmentation的论文，讲的是从3D image的不同的view axes 获取2D image slice,然后采用U-NET对这些2D slice分割，分割完成后提出了一种fusion model对2D分割结果进行整合并作为最终3D的分割结果。作者在13个不同的3D分割任务上进行了测试，在18年的MSD竞赛中排在第五！
从摘要中我们应该可以看出，本文的重点应该是如何获取2D image slices（image sampling）、combine这些slices（augmentation）、在获得2D分割结果之后如何将2D分割结果整合到original 3D image中（pre- and post-processing）。
Fig.1. model overview
1. Background
作者说，现在的medical segmentation方法大多都是采用一些暴力的深度学习方法来解决一些非常具体的任务，这些方法可能会有过拟合的问题、没有足够的数据的情况下这些方法也会受限，balabalabala.......（意思就是说现在你们的方法没有很好的泛化能力，还有很多的drawbacks，都不如他论文中的好。作者给了一个特别硬气的名字 “我用一个网络就可以分割你们所有的images，而且我的网络还是一个没有那么多参的轻量级网络”）。
在我看来，作者本质上是在augmentation上进行了创新，通过一张3D image产生多张2D image。 接下来我们看看这些2D image是如何产生的。
2. Method
2.1 image sampling
“Prior to training we define a set V = {v1, v2, ..., vi} of i randomly sampled unit vectors in R3. The set defines the axes through the image volume along which we sample 2D inputs to the model".
作者定义了一个向量V, 向量中的元素可以理解成是一个方向向量，每一个方向向量就是一个view或者plane，然后根据这方向向量来获取2D slice。打个比方，你在切土豆的时候，不同切刀方向就会获得不同的形状的土豆片，拿刀的方向就是一个方向向量，土豆片就是这个2D image或者说是2D slice.
文中，作者要求任意两个向量的夹角要至少大于60度，并根据经验（其实就是他自己跑代码总结出来的）将的大小设置成6. 对于那些没有跟original voxel grid对齐的像素点，使用tri-linear插值和nearest-neighbor插值的方法获取slice和label map的pixel value（这两个插值类型我觉得选的很好，对于original image应该尽可能的多使用原图中的voxel，所以使用tri-linear；而label map中相邻点之间的pixel值更为接近，采用nearest-neighbor插值）。
从image sampling中我们可以看出其实这篇论文也是在想办法产生更多的samples，我们也可以把这种思路看作是一种data augmentation。
网友评论