卷积神经网络的历史

略

卷积和池化

全连接层

全连接层

• 32x32x3的图像输入，将所有像素展开的得到3072x1的向量
• 把向量和权重相乘，假设权重10个
• 得到这一层的输出，一个数字，一共是10个输出值

卷积层

图片.png

• 与全连接的区别是“保全空间结构”
• 输入不变还是32x32x3的图像输入
• 替换权重为卷积核，5x5x3的filter
• 将这个卷积核滑过图像的每个位置，计算出每个空间定位时的点积结果

详细介绍卷积过程

• 卷积核总是会将输入量扩展至完全，所以总是一小块空间区域，通常会遍历所有通道。在这采用5x5x3的大小
• 在卷积核和给定图像空间进行点积运算，将卷积核的所有值与图片区域对应的值相乘求和（即点积）再加上偏移值

卷积运算

• 从左上角开始遍历输入图像的所有像素点，每个位置都进行点积，得到一个激活输出
• 滑动的步长，影响输出的大小

滑动卷积核

• 我们可以使用多个卷积核，用来处理不同的模式或概念
• 六个卷积核会得到6层的激活映射，28x28x6

多个卷积核
例子

• 卷积的结果使用ReLU这样的激活函数进行处理
• 或者经过池化层

卷积层的应用

小结

• 我们一般使用多个卷积核（filter）对输入进行处理，每个卷积核得到一个激活映射，叠加成一个卷积网络（ConvNet），就完成了对这几个卷积核的学习
• 前几层的卷积核一般代表了一些低阶的图像特征，例如：边界
• 而中间层可以得到更加复杂的图像特征，例如：边角、斑点等
• 高层可以获得比中间层更加丰富的内容

level

• 一个图片输入
• 让它通过好多层
• 先是卷积层（conv），然后通常是非线性层（relu），有了卷积层和非线性层以后会用到池化层（pool）
• 得到输出后，利用全连接层，连接所有卷积输出，并用其获得一个最终的分支函数

卷积神经网络整体看起来是这样的

例子

• 在这个例子中，我们是如何得到28x28x1的激活映射的呢？

前面的例子

• 下面是一个简化的例子，每次移动一个像素格，得到5x5的输出：

1
2
3
4
5

• 每次移动两个像素格，得到3x3的输出：

1
2
3

• 如果一次移动3个像素格呢？

不可行

• 输出大小的计算：

计算输出

• 零填补边界后

零填补

• 为什么做零填补？
• 答：保持输出和之前输入大小相同
• 通常卷积核的大小是：3x3，5x5，7x7
• 与之对应零填补的大小：1，2，3

思考

• 如果不进行零填补，经过几个卷积层后，激活映射会快速减小，这是不合适的

计算练习

计算输出大小
参数个数计算

总结

总结

1x1的卷积层

• 我们也可以做1x1的卷积层，这也是有意义的，相当于在每个深度上计算

1x1

卷积层在深度学习框架中的使用

Torch
Caffe

视觉之外的卷积神经网络

图片.png 图片.png

• 5x5的卷积核代表神经学的5x5的感受野

图片.png

• 与全链接层对比，全链接层是所有像素与输出联系，而卷积是输入的局部区域与输出联系

对比

池化层的作用

图片.png

• 降采样
• 减少参数的数量
• 池化不改变深度
• 一般使用最大池化实现
• 步长的设定，区域不产生重叠

图片.png

池化层总结

• 接收一个卷积层输入W1×H1×D1
• 需要两个超参数，
  • filter（过滤器）：F
  • stride（步长）：S
• 产生一个W2×H2×D2的卷积
  • W2=(W1-F)/S+1
  • H2=(H1-F)/S+1
  • D2=D1
• 没有引入超参数，因为它计算是对输入的一个计算
• 池化层一般不进行零填补

图片.png

全链接层的作用

• 把所有的信息聚合到一起

一个模拟程序

• 可以在这个模拟程序中模拟卷积神经网络

模拟程序