SE-Net学习笔记

Squeeze-and-Excitation Networks（简称SENet）

Squeeze：

空间维度来进行特征压缩，将每个二维的特征通道变成一个实数，这个实数某种程度上具有全局的感受野，并且输出的维度和输入的特征通道数相匹配。

Excitation：

它是一个类似于循环神经网络中门的机制。通过参数 来为每个特征通道生成权重，其中参数 被学习用来显式地建模特征通道间的相关性。

最后是一个Reweight的操作，我们将Excitation的输出的权重看做是进过特征选择后的每个特征通道的重要性，然后通过乘法逐通道加权到先前的特征上，完成在通道维度上的对原始特征的重标定。

在ResNet网络上可以看到，SE模块添加到Residual的支路里，相当于给残差特征分配特征权重

参考资料：https://zhuanlan.zhihu.com/p/32733549