论文笔记：《Pyramid Scene Parsing Netw

论文：《Pyramid Scene Parsing Network》by Hengshuang Zhao etc.

使用FCN进行语义分割存在以下三个常见问题：

1. Mismatched Relationship: 匹配关系错误，如将在水中的船识别为车。
2. Confusion Categories: 模糊的分类，如 hill 和 mountain的区分。
3. Inconspicuous classes: 无视小尺寸物品。

（关于FCN的细节可以看我的另一篇文章生物医学图像语义分割(一)FCN）

总结起来，这些错误与语义间的关系以及不同感知区域的全局信息有关。通常情况下，我们可以粗略认为，卷积层卷积核大小（感知域）能够表示结构考虑了多大范围的context。然而，在研究中表面，卷积层实际感知域小于理论。因此，很多结构并不能很好地表现全局信息。
文中提出pyramid pooling modules的结构来解决以上问题。结构如下图所示。

Architecture

Pyramid scene parsing network

1. 上图结构首先将输入图片(a)用ResNet提取成特征图(b)。
2. 通过pyramid pooling modules 来进行不同尺寸的池化。文章中将特征图大小分别池化为：1x1,2x2,3x3,6x6。并通过一个卷积层将每个特征通道数变为feature map通道数的1/N，其中N为级数，此时N=4。
3. 最后将池化结果上采样(文中使用了双线性插值)，与特征图(b)连接后，通过卷积层输出结果。

这个结构与FCN不同的是，它通过pyramid的池化层考虑了不同尺寸的全局信息。而在FCN中只考虑了某一个池化层，如FCN-16s 只考虑pool4。

下图为PSPNet解决前面提出的三个问题的结果。

results

更多参考：【总结】图像语义分割之特征整合和结构预测 by ycszen