1X1卷积核的理解和应用（NIN块）

作用:
1.1×1卷积层在实现全卷积神经网络中经常用到，即使用1*1的卷积层替换到全连接层，这样可以不限制输入图片大小的尺寸，使网络更灵活。
2.进行卷积核通道数的降维和升维
应用:
GooleLeNet的 Inception 模块

image.png

ResNet 同样也利用了 1×1 卷积

3.实现跨通道的交互和信息整合，提高网络的表达能力。
前提知识:
在传统卷积核后面接 cccp 层，从而实现多个feature map 的线性组合，实现跨通道的信息整合。而 cccp 层是等价于 1×1 卷积的，因此细看NIN 的 caffe 实现，就是在每个传统卷积层后面接了两个 cccp 层（其实就是接了两个 1×1 的卷积层）
NIN块: 一个卷积层后跟两个1x1卷积层 （又称Mlpconv layer）
image.png
image.png

第一个1x1卷积层实现featuremap的提取，第二个1x1卷积层进行featuremap的组合

只有一个1x1卷积层的情况:

image.png

有两个1x1卷积层的情况:

image.png

NIN网络的两大特性:
1.Mlpconv
2.平均池化层
3.全局平均池化层

image.png
image.png