CVPR2019|LEDNet（Light Encoder-De

南邮提出实时语义分割的轻量级网络：LEDNET，可达 71 FPS！70.6% class mIoU！即将开源

LEDNet，它采用非对称（asymmetric）编码器 - 解码器架构来进行实时语义分割。更具体地说，编码器采用 ResNet 作为骨干网络，其中有两个新操作：channel split and shuffle，被应用在每个残余块中，以大大降低计算成本，同时保持更高的分割精度。 另一方面，在解码器中采用注意力金字塔网络（APN，attention pyramid network）以进一步减轻整个网络的复杂性。我们的模型参数不到1M，并且能够在单个GTX 1080Ti GPU中以超过71 FPS的速度运行。全面的实验表明，我们的方法在 CityScapes 数据集的速度和准确性权衡方面取得了SOTA。

本文三个创新点：

（1）LEDNet的不对称结构（asymmetrical architecture），如上图所示，使得网络参数大大减少，加速了推理过程；

（2）残差网络中的Channel split and shuffle 有强大的特征表示。此外， Channel shuffle 是differentiable，可以嵌入网络结构中进行端到端训练。

（3）在 decoder 端，采用特征金字塔的注意力机制来设计APN，进一步降低了整个网络的复杂性。

带有 Split and Shuffle Operations的残差模块

由下图可知，LEDNet引入：split-shuffle-bottleneck(SS-bt)，其中可以看到整体结构还是ResNet，但额外引入 Channel Split、Concat层和 Channel Shuffle。

Channle Split 将输入分离成两个 lower-dimensional 分支（即各自一半channel），通过设计的3x1 和 1x3卷积，在将两个分支 Concat一起，并最后利用 ShuffleNet中的 Channel Shuffle操作。

APN decoder

转自 https://mp.weixin.qq.com/s?__biz=MzUxNjcxMjQxNg==&mid=2247489173&idx=1&sn=8d538e16cc3e6c06776ff66914df11e7&chksm=f9a2641aced5ed0c8b32e86a9d1cbf747e0e4ed7eaad00ae4fb48fa9edd00568486861f8b734&mpshare=1&scene=1&srcid=&key=77d3afcab8845c965032a2cb97a50ca49007431f4fc5161bedb70329875c68f7a8543b428f4eea36106d31d2b5ee7c03bdec0b6b6834fcdad93618a100f13cd74b83da0789f0f36d90243a53093d7209&ascene=1&uin=ODY2NTI4OTYz&devicetype=Windows+10&version=6206081a&lang=zh_CN&pass_ticket=ypNSqtqxWuuioc8LOcNEoNlQmdG3I%2BVji%2B0RXkt94vb8KggJKYJV7tLD3Z6WMHGQ