DeepLab v3

一、Introduction

  在语义分割任务重，主要面临两个方面的问题的挑战：一是网络为了能够学习到抽象的语义信息，需要进行多次的池化操作。而这样带来的后果是会丢失细节信息。二是待检测目标的多尺度问题。
  问题1可以通过带洞卷积来解决，可以在提取特征图的同时保持分辨率，见图3 。问题2目前普遍存在的解决方法见下图2。

图3
图2

  我们知道，使用带洞卷积的一个目的是扩大感受野。但是，我们在使用3 x 3的带洞卷积的时候发现，如果使用太大的扩张率，有时候因为图片边界的影响反而无法获取更大范围的信息，这时候3 x 3卷积反而会退化为1 x 1的卷积。因此，我们将image-level特征加入到ASPP的结构中。

二、改进的ASPP

  1、增加了Batch Normalization
  2、增加了image-level features，具体的操作方法为：（1）先对特征图使用全局平均池化 （2）对池化结果接1个1 x 1的卷积操作，卷积的通道数为256，然后接BN层 （3）使用双线性插值恢复到原特征图的大小
  3、ASPP的最终结构为：
  （a）：① 1 x 1卷积 ② 3个3 x 3的带洞卷积，扩张率分别为：（6， 12， 18），对应的output_stride = 16（如果output_stride = 8，那么扩张率要翻倍，即为（12， 24， 36），文中把这种多扩张率的方法叫做mutil-grid method（在v2中也用到了多扩张率）。
  （b)image-lavel features
  接下来，文章中把(a)(b)中的结构进行concat连接，这一点和v2中原始的ASPP做法不同，原来是分别经过一系列操作之后直接相加，具体的结构见图5。

三、训练细节

  1、output_stride：原始图片到最小的特征图缩小了多少倍。
  2、学习率衰减策略：，其中power=0.9
  3、图片大小缩减到513
  4、Batch Normalization：（1）因为需要使用BN，所以我们需要比较大的batch size，因此需要比较大的output_stride，这里使用16（使用16比使用8速度更快，但是会损失一些精度，当然是在batch size相同的情况下进行比较）。（2）BN衰减率：0.9997。（3）①使用学习率0.007训练30k，然后冻结BN层参数 ②将output_stride改为8，然后训练30k，而学习率为0.001
  5、数据增强：（1）随机改变图像尺寸（0.5-2.0） （2）随机左右翻转
  6、上采样logits：在v2中，我们会把groundtruth下采样8倍，然后将其和logits比较（这里，output_stride=8）。但是，我们发现这种做法会损失精度。因此，我们这里改变为：将最终的logits上采样8倍，将其和groundtruth比较。
  7、网络结构参数：使用resnet-101，muti-gride:(r1, r2, r3)=(1,2,1)。注意，我们在ASPP中提到的扩张率(6,12,18)=unit rate * (r1,r2,r3)。
  8、推理阶段的策略：（1）训练的时候使用的output_stride=16，但是在inference阶段，使用output_stride=8，以此来获得特征图中更多的细节信息。（2）在inference的时候使用多尺度策略（stride={0.5, 0.75, 1.0, 1.25, 1.5, 1.75}）和左右翻转的策略。最终的结果需要对上述的结果做平均。

四、总结

  1、提出新的ASPP结构：使用多种不同的扩张率的带洞卷积以及在级联的模块中逐渐增大带洞卷积的扩张率都可以获得更好的视野和更多的上下文信息。
  2、image-level feature的加入也可以获得更多的细节信息。
  3、更大的图片尺寸
  4、在训练阶段对logits进行上采样
  5、对batch normalization进行fine-tuning
  上述方法的使用让deeplab v3获得了更好的分割效果。