这是CVPR的文章，讨论关于注意力机制在分类的应用。
paper
github
容易理解的代码
通过使用sigmoid函数对主干网络构建mask，在特征上添加掩码，使网络更加关注主要的特征。
图中Attention Module是注意力模块。在Attention Module模块中上面的通道是主干网络，下面是注意力mask网络。为保留原有的特征，mask和主干网络的融合有两个操作。首先，通过mask和主干网络的进行点积预算，然后，把点积运算的结果和主干网络相加，得到新的特征。
在两个注意力模块之间有残差块进行连接。
使用encoder-decoder结构可以快速获取全局的信息。
实验三种掩码激活函数：
函数发现其实越简单越好，最好的是sigmoid函数：
使用最少参数，就可以达到和ResNet-152同样的精度：
网友评论