背景
LeNet神经网络由深度学习三巨头之一的Yan LeCun提出,他同时也是卷积神经网络 (CNN,Convolutional Neural Networks)之父。LeNet主要用来进行手写字符的识别与分类,并在美国的银行中投入了使用。LeNet的实现确立了CNN的结构,现在神经网络中的许多内容在LeNet的网络结构中都能看到,例如卷积层,Pooling层,ReLU层。虽然LeNet早在20世纪90年代就已经提出了,但由于当时缺乏大规模的训练数据,计算机硬件的性能也较低,因此LeNet神经网络在处理复杂问题时效果并不理想。虽然LeNet网络结构比较简单,但是刚好适合神经网络的入门学习。
网络结构
网络参数
C1
输入大小:3232
核大小:55
核数目:6
输出大小:28286
训练参数数目:(55+1)6=156
连接数:(55+1)6(32-2-2)(32-2-2)=122304
S2
输入大小:28286
核大小:22
核数目:1
输出大小:14146
训练参数数目:26=12,2=(w,b)
连接数:(22+1)11414*6 = 5880
C3
输入大小:14146
核大小:55
核数目:16
输出大小:101016
训练参数数目:6(355+1) + 6(455+1) + 3(455+1) + 1(655+1)=1516
连接数:(6(355+1) + 6(455+1) + 3(455+1) + 1(655+1))10*10=151600
S4
输入大小:101016
核大小:22
核数目:1
输出大小:5516
训练参数数目:216=32
连接数:(22+1)155*16=2000
C5
输入大小:5516
核大小:55
核数目:120
输出大小:12011
训练参数数目:(5516+1)12011=48120(因为是全连接)
连接数:(5516+1)1201*1=48120
F6
输入大小:120
输出大小:84
训练参数数目:(120+1)84=10164
连接数:(120+1)84=10164
网友评论