LeNet-5
十个分类（数字0到9），针对灰度图进行训练的，输入图像大小为32x32x1，两层卷积，两层池化，两层全连接，一层输出，使用sigmoid激活函数。
LeNet-5
- Conv1: 6个5x5，步长为1， padding为0
- avg pool: 尺寸2x2，步长为2，padding为0
- Conv2: 16个5x5，步长为1，padding为0
- avg pool: 尺寸2x2，步长为2，padding为0
- fc1: 120个神经元
- fc2: 84个神经元
- output: 10个神经元 即输出10个类别
这里的padding
AlexNet
- 使用ReLU激活函数，解决了sigmoid函数在网络较深时的梯度弥散问题。
- 在每层全连接之后使用dropout，随机丢弃一部分神经元输出，减小过拟合。
- 使用最大值池化，避免了均值池化带来的背景模糊，有利于边缘信息提取，并且步长设为2小于池化核尺寸，提升特征丰富性。
- 提出LRN层，对局部神经元活动性创造竞争机制，使响应大的更大，抑制响应小的，提高泛化性。
AlexNet
LRN分别接在前两层卷积层之后。maxpooling分别接在前两层和最后一程卷积之后。卷积核大小：C1 11X11X96, C2 5X5X256, C3C4 3X3X384, C5 3X3X256
- 输入尺寸：227x227x3
- 卷积层：5个
- 降采样层(池化层)：3个
- 全连接层：2个
- 输出层：1个。1000个类别
网友评论