神经网络模型LeNet-5学习

知识点

• 卷积
• 池化

• 全连接与连接表

  
  全连接

C3连接表

模型结构

模型结构

C1层

• 卷积层
• 卷积核： 6组5*5
• 输入 32*32灰度图像
• 输出 6 组 28*28 特征图
• 神经元数量 6* 28*28 = 4704
• 可训练参数 6*（5 *5+1）= 156
• 连接数 156 * 28*28 = 122304

S2层

• 池化层
• 采样窗口：2*2
• 输入 6 组 28*28 特征图
• 输出 6 组 14*14 特征图
• 神经元数量 6* 14*14 = 1176
• 可训练参数 6*（1+1）= 12
• 连接数 6 * （4+1）* 14*14 = 5880

C3层

• 卷积层
• 卷积核：60组 5*5
• 输入 6 组 14*14 特征图
• 输出 16 组 10*10 特征图
• 神经元数量 16 * 10*10 = 1600
• 可训练参数 60 * （5 * 5）+16= 1516 （注意这里是60而不是全连接6*16）
• 连接数 1516 * 10*10 = 151600

S4层

• 池化层
• 采样窗口：2*2
• 输入 16 组 10*10 特征图
• 输出 16 组 5*5 特征图
• 神经元数量 16 * 5 * 5 = 400
• 可训练参数 16*（1+1）= 32
• 连接数 16 * （4+1）* 5 *5 = 2000

C5层

• 卷积层
• 卷积核： 120组 5*5
• 输入 16 组 5*5 特征图
• 输出 120 组 1*1 特征图
• 神经元数量 120
• 可训练参数 120*(16 * 5 * 5 + 1) = 48120
• 连接数 120 * (16 * 25 + 1) = 48120

F6层

• 全连接层
• 正切函数
• 输入 120 组 1*1 特征图
• 输出 84 组 1*1 特征图
• 神经元数量 84
• 可训练参数 84 *(120 + 1) = 10164
• 连接数 84*(120 + 1) = 10164

输出层

• RBF函数(径向欧式距离函数)

  
  RBF函数

• 输入 84 组 1*1 特征图

• 输出 10 组 1*1 特征图

• 神经元数量 10

• 可训练参数 10 * 84 = 840

• 连接数 10 * 84 = 840

LeNet-5识别数字3

---

学习资料来源：

1. 卷积神经网络的网络结构——以LeNet-5为例
2. 以LeNet-5为例理解CNN
3. LeNet-5网络结构及训练参数计算
4. LeNet-5网络结构解析