LeNet

image.png

图1-1 LeNet结构示意
对于卷积层，其计算公式为

image.png

其中K表示由L层到L+1层要产生的feature的数量，表示“卷积核”，表示偏置，也就是bias，
令卷积核的大小为55，总共就有6（55+1）=156个参数，
对于卷积层C1，每个像素都与前一层的55个像素和1个bias有连接，
所以总共有1562828=122304个连接（connection）。
对于LeNet5，S2这个pooling层是对C1中的22区域内的像素求和再加上一个偏置，
然后将这个结果再做一次映射（sigmoid等函数），所以相当于对S1做了降维，此处共有62=12个参数。
S2中的每个像素都与C1中的22个像素和1个偏置相连接，所以有651414=5880个连接（connection）。
除此外，pooling层还有max-pooling和mean-pooling这两种实现，
max-pooling即取22区域内最大的像素，而mean-pooling即取22区域内像素的均值。
LeNet5最复杂的就是S2到C3层，其连接如下图所示。

image.png

前6个feature map与S2层相连的3个feature map相连接，
后面6个feature map与S2层相连的4个feature map相连接，
后面3个feature map与S2层部分不相连的4个feature map相连接，
最后一个与S2层的所有feature map相连。
卷积核大小依然为55，
所以总共有6（355+1）+6（455+1）+3（455+1）+1（655+1）=1516个参数。
而图像大小为1010，所以共有151600个连接。
S4是pooling层，窗口大小仍然是22，共计16个feature map，
所以32个参数，16（254+25）=2000个连接。
C5是卷积层，总共120个feature map，每个feature map与S4层所有的feature map相连接，卷积核大小是55，
而S4层的feature map的大小也是55，所以C5的feature map就变成了1个点，共计有120（2516+1）=48120个参数。
F6相当于MLP中的隐含层，有84个节点，所以有84*（120+1）=10164个参数。
F6层采用了正切函数，计算公式为，

image.png

输出层采用了RBF函数，即径向欧式距离函数，计算公式为，

image.png

以上就是LeNet5的结构。

表1 LeNet各层输入输出及资源使用

image.png