LeNet模型解读

LeNet-5
draw_net.py生成的LeNet

第一层：输入层32x32（28x28）大小的图像。明显特征能够出现在最高层特征监测子感受野的中心。（笔画断续、角点）
第二层：C1，卷积层。原始信号特征增强，降低噪音，不同的卷积核能够提取到不同的图像特征。

feature map个数：6个 3232
conv kernel大小：5 * 5
神经元个数：(32 - 5 + 1) * (32 - 5 + 1) = 28 * 28
训练参数个数： (5 * 5 + 1) * 6 = 156
连接数： (5 * 5 + 1) (28 * 28) * 6 = 122304

第三层：S2，下采样层。降低网络训练参数和模型的过拟合程度。两种方法：均值、最大值。

feature map个数：6个14 * 14，与C1中的2 * 2的区域相连。
神经元计算：sigmoid (2 * 2 的输入相加 * 一个训练参数 + 该feature map的bias)
神经元个数：14 * 14
训练参数个数： 2 * 6 = 12
连接数：(2 * 2 + 1) * (14 * 14) * 6 = 5880

第四层：C3，卷积层。

conv kernel大小：5 * 5
feature map个数：16个14 * 14
神经元个数： (14 - 5 + 1) * (14 - 5 + 1) = 10 * 10
该层feature map是由上一层的各feature map的不同组合而成的，所以训练参数为：
(5 * 5 * 3 + 1) * 6 + (5 * 5 * 4 + 1) * 9 + (5 * 5 * 6 + 1) * 1 = 1516
连接数：1516 * 10 * 10 = 151600

第五层：S4，下采样层。

feature map个数：16个5 * 5， 与C3中对应的feature map的2 * 2大小的区域相连。
训练参数个数： 2 * 16 = 32
连接数： (2 * 2 + 1) * (5 * 5) * 16 = 2000

第六层：C5，卷积层。

feature map个数：120个5 * 5
conv kernel： 5 * 5
神经元个数：(5 - 5 + 1) * (5 - 5 + 1) = 1
训练参数个数：(5 * 5 * 16 + 1) * 120 = 48120
连接数： 48120 * 1 = 48120

第七层：F6，全连接层。

feature map个数：84
神经元：每个feature map只有一个神经元与C5层全连接，故
连接数与参数个数：（1 * 1 * 120 + 1）* 84 = 10164
计算输入向量和权重向量之间的点积和偏置，之后将其传递给sigmoid函数来计算神经元。

第八层：输出层。10个节点。

84 * 10个设定参数和连接。
如果节点 i 的值为0，则识别的内容为 i 。
采用RBF。