论文记录 - Squeeze-and-Excitation Ne

来源：Squeeze-and-Excitation Networks
在看一篇医学图像分割的论文，文中有提到 SE Block，所以就找到这篇论文，粗略查看，理解下什么是 SE Block。

对于任意给定的变换 F_tr 是将输入 X 映射到 U (HxWxC) ，例如一个卷积操作。 然后可以构建一个 SE Block 对其进行特征校准。首先 U 通过 squeeze 操作，通过在其空间维度（H×W）上聚合特征图来产生信道描述器，输出 1x1xC 的特征。之后是 excitation 操作，是一种 self-gating 机制。前两个过程的最终输出与 U 相乘，得到整个 SE Block 的输出。

Squeeze: Global Information Embedding

进行的是 Global Average Pooling 操作。

Excitation: Adaptive Recalibration

To limit model complexity and aid generalisation, we parameterise the gating mechanism by forming a bottleneck with two fully-connected (FC) layers around the non-linearity.

为了限制模型的复杂性，门机制由两个全连接层实现。

σ：sigmoid；δ：ReLU

SE block 最后的输出为：

下面是 SE-ResNet 模型，在那篇医学图像分割的论文中有使用：