卷积神经网络中的参数共享和局部连接

参考
卷积神经网络的局部连接和权值共享
如何理解卷积神经网络中的权值共享？

卷积神经网络中的卷积层有两个核心的思想，网络局部连接和卷积核参数共享，二者都是为了减少参数的数量。

局部连接

所谓局部连接，就是卷积层的节点仅仅和其前一层的部分节点相连接，只用来学习局部特征。在计算机视觉中，图像中的某一块区域 ，像素之间的相关性与像素之间的距离同样相关，距离较近的像素间相关性强，距离较远则相关性就比较弱，由此可见局部相关性理论也适用于计算机视觉的图像处理领域。下图展示了一个局部连接的神经网络，第n+1层的每个节点只与第n层的3个节点相连接，而非与前一层全部5个神经元节点相连，这样原本需要5*3=15个权值参数，现在只需要3*3=9个权值参数，这种局部连接的方式大幅减少了参数数量，加快了学习速率，同时也在一定程度上减少了过拟合的可能。

图1 局部连接

参数共享

如图是一个3*3大小的卷积核在进行特征提取，channel=1，在每个位置进行特征提取的时候都是共享一个卷积核，假设有k个channel，则参数总量为3*3*k，注意不同channel的参数是不能共享的。

图2 参数共享

假设现在不使用参数共享，则卷积核作用于矩阵上的每一个位置时其参数都是不一样的，则卷积核的参数数量就与像素矩阵的大小保持一致了，假设有k个channel，则参数数量为这对于尺寸较大的图片来说明显是不可取的

图3 参数不共享

也可看下图，通过权值共享的方法，这里一共只有3组不同的权值，如果只用了局部连接的方法，共需要3*4=12个权值参数(图1)，而加上了权值共享的方法后，现在仅仅需要3个权值，更进一步地减少参数数量。

图4 参数共享