1x1 Convolution

参考视频1、参考视频2
如果我们有一个HxWxC维度的Tensor，在设计Kernel的时候，往往使用3x3或者5x5这样的值，这样常规的卷积核非常好理解，在进行卷积的时候，其实是进行的WxHxC的三维卷积。如果我们的卷积核大小为1x1呢？

其实理解方式和任何WxH的卷积核是一样的，只是在W和H这两个维度，它完全不计入其他像素，而只考虑当前像素，所以进行的时1x1xC的三维卷积。也就是只考虑C这个维度的线性组合（配合使用某种激活函数的时候则增加了非线性）。如果我们有C1个这样的1x1卷积，则输出就会变为WxHxC1，起到了改变Tensor的C维度但是不改变W、H维度的效果。