code：https://github.com/LiangHann/USAR
一句话简介：利用对抗学习基于分割网络的结果重建输入图像，实现无监督细胞分割。
1. Introduction
训练基于 CNN 的细胞分割模型，需要大量有 mask 标注的训练数据，而这是相当费力和昂贵的。
作者提出了一种完全无监督的模型来训练细胞分割网络，命名为无监督分割网络对抗性重建学习（Unsupervised Segmentation network learning by Adversarial Reconstruction ，USAR）。它依赖于对抗性学习]的思想，通过分割网络生成的分割结果对抗性地重建输入图像来学习分割网络。
具体地说，一个生成器由一个生成前景细胞 mask 的分割网络和一个生成背景图像的 decoder组成，用于重建细胞图像，并通过鉴别器将其与原始输入图像进行比较。
2. Methodology
2.1 定义无监督的分割问题
给定要分割的输入细胞图像集，其中N是该集中图像的数量，每个图像
可以分解为前景
（即细胞）和带有前景 mask
的背景
，
其中 * 表示逐元素乘法。
对于细胞分割，目标是获得图像 的前景mask
。但是，在上面等式中，右侧的所有三个变量（
）都是未知的。因此，从上面等式求解 mask
是一个欠约束问题。为此，作者用原始图像
替换前景
，因为
的前景部分应该与
相同。因此得到：
由于细胞实验的特性，可以假定细胞都有相似的背景，因此可以将 假设为一个相同的背景B：
现在我们有 N 个方程来求解 N+1 个未知变量，大大缓解了欠约束的困境。
2.2 USAR
给定要分割的输入细胞图像集，一个分割网络用于生成 mask
。
同时，将随机采样的噪声向量 z 输入到解码器中，以便为所有输入图像合成一个背景 B。
前景（细胞）区域是通过将原始图像集 逐元素相乘来计算的，非单元背景区域是通过将合成的背景 B 和
逐元素相乘。
最后，通过将细胞区域和非细胞背景区域与元素相加相结合，获得重建图像。
分割网络和背景解码器构成了图像重建的生成器，同时作者构建了一个鉴别器来调节生成器，使重建图像的分布与原始图像对齐。
USAR model f
2.3 特殊的处理
有两种可能的特殊分割：
- (1）“完整”分割。 U-Net 将整个细胞图像分割为前景（即
）。在这种情况下，任何合成的背景图像B都可以满足重建；
- (2) “空”分割。U-Net 将整个细胞图像分割为背景（即
）。
为了避免这两种情况，作者相应地提出两个约束：
-
“非完整”分割的稀疏性：为了防止 U-Net 生成“完整”分割，作者在生成的单元掩码
上添加了一个稀疏约束，这迫使只有部分生成的掩码是非零的（即前景），而主要部分是零（即背景）。
-
“非空”分割的内容损失：为了避免“空”分割，在重建图像
和原始图像
之间添加内容损失，其定义为在提取的图像特征
和
之间的差异（其中 f 是用于特征提取的预训练 CNN）。这迫使每个重建图像具有与原始图像相同的内容信息。在此约束下，生成的 mask
不能为“空”（即 M_i = 0）。（如果 mask 为0，
，只有在
的时候内容损失最小）
综上，训练的目标函数为
2.4 伪标签策略
为了进一步改进分割网络，作者利用了基于伪标签的自训练策略。
在通过交替优化方程得到分割 mask 之后，将图像 i 的伪标签 定义为
中的那些高置信度细胞区域。然后，使用伪标签来细化分割网络。在数学上，生成器用于细化的目标函数是：
3. 实验结果
作者在两个公开数据集上进行了实验。
分割结果
看起来比其他无监督的方法要好，但是远不及有监督的网络效果。
参考
网友评论