全连接层的作用是，可以将卷积得到的局部特征连接起来，综合考虑整个图像。
当1*1卷积层的channel个数等于全连接层的节点个数时，可以看成全连接层，其中空间维度高和宽上的每个元素相当于样本，通道相当于特征。
1×1卷积层代替全连接层的好处:
(1) 不改变图像空间结构
全连接层会破坏图像的空间结构，而1*1卷积层不会破坏图像的空间结构。
(2)输入可以是任意尺寸
全连接层的输入尺寸是固定的，因为全连接层的参数个数取决于图像大小。而卷积层的输入尺寸是任意的，因为卷积核的参数个数与图像大小无关。
当输入的feature map的尺寸是1×1时，两者从数学原理上来看，没有区别。
假设输入为c×1×1，输出为n×1×1，
那么全连接可以认为是一个c维的向量和n×c大小的矩阵相乘。
卷积层可以理解为n个c×1×1的卷积核，分别与输入做内积，跟计算矩阵向量乘没有区别。
当输入为c×w×h时，卷积层和全连接层的输出尺寸就不一样了，
1×1的卷积输出为n×w×h，
全连接的输出是n×1×1。
此时，全连接可以等价于n个c×w×h卷积核的卷积层。全连接层和卷积层最大的区别就是输入尺寸是否可变，全连接层的输入尺寸是固定的，卷积层的输入尺寸是任意的。
网友评论