PSEnet

1.核心思想

PSEnet是一种新的实例分割网络，它有两方面的优势。首先，psenet作为一种基于分割的方法，能够对任意形状的文本进行定位，其次，该模型提出了一种渐进的尺度扩展算法，该算法可以成功识别相邻文本实例。PSEnet不仅适应任意角度的文本检测，而且对近距离文本分割效果更好。

从上图(b)中可以看出基于回归的方式不能对弯曲文本做出很好的定位，而从(c)中可以看出基于语义分割的方式虽然可以定位弯曲文本，但是不容易将相邻的文本区分开来。而(d)中采用本文提出的渐进式扩展算法能够较好的定位弯曲文本，并且能将不同文本实例区分开来。 其具体采用的方式是首先预测每个文本行的不同kernels，这些kernels和原始文本行具有同样的形状，并且中心和原始文本行相同，但是在尺度上是逐渐递增的，最大的kernel就是原始文本行大小。之后对这些kernels采用bfs算法，首先从最小scale的kernel开始，逐步对它进行扩增到更大的kernel，最终扩增到原始文本行大小。而之所以这种方式能够区分文本行边缘像素，是因为对于最小scale的kernel，不同文本行是完全分离开的，而在逐渐扩展的过程中是受上一级kernel监督的，因此即使扩增到原始文本行大小也能够将边缘像素区分开来。

2.网络结构

文章使用在ImageNet数据集上预训练的Resnet+fpn作为特征提取的网络结构

首先将高层特征和低层特征融合后得到(P2, P3, P4, P5)四个特征层，其中每个特征层的channel数量为256。之后将四个特种层concat得到F， 其中F=C(P2,P3,P4,P5) = P2 || Upx2(P3) || Upx4(P4) || Upx8(P5)，其中的||就代表concat。x2,x4,x8分别代表2倍、4倍和8倍的上采样。将F送入Conv(3,3)-BN-ReLU层，并将特征层的channel数量变为256。之后再将F送入多个Conv(1,1)-Up-Sigmod层来得到n个分割结果S1,S2,...Sn，其中的Up代表上采样。

3.渐进式扩展算法

渐进式扩展算法核心思想就是Breadth-First-Search(BFS)，这里我们拿3个分割结果S={S1,S2,S3}来举例。

其中S1(上图a)代表最小核的分割结果，它内部有四个连通区域C={c1,c2,c3,c4}。图b将这四个连通区域使用不同颜色标记。之后我们逐步判断和C相邻的像素是否在S2中，如果在，则将其合并到图b中，从而得到合并后的结果图c。S3同理，最终我们抽取图d中不同颜色标注的连通区域作为最后的文本行检测结果。

更多请参考原文链接：https://zhuanlan.zhihu.com/p/54767030