1. 前言
在这篇论文中，作者调查了模型设计中稍微不同的一方面：通道之间的关系。目标是为了通过显示地对通道之间卷积特征的依赖关系进行建模，来提高网络的表达能力。作者提出了一种机制，允许网络进行特征校准(feature recalibration)。通过它，来更多地关注信息丰富的特征，抑制信息少的特征。
2. 模型
block 结构
如上图是一个基本的SE的block。对于任意给定的一个转换：
卷积
Squeeze：Global Information Embedding：作者将squeeze视为对全局信息的embedding，我们知道在卷积操作中，每一个filter都操作在一个区域中，是无法利用其他区域的信息。因此，作者使用了global average pooling来产生每个通道的统计信息。如下图：
squeeze
Excitation：Adaptive Recalibration：为了利用squeeze操作的信息，作者使用Excitation来捕捉通道间的相关性。
Excitation
简单来说，就是首先将squeeze输出通过一个映射到更短的向量，再通过一个激活函数ReLU，在通过一个映射变回原来的长度。简单来说，就是两层FC。
block最终的输出由下面决定：
excitation
其实就是每个通道乘上一个权重。
Inception
inception
ResNet
ResNet
效果
Result
网友评论