卷积神经网络

卷积神经网络

• 如果采用全连接前馈网络来处理图像时，会存在以下问题，
• 第一 参数太多，在图像处理时，每个像素点都是一个参数，因此，若采用全连接前馈网络，仅仅第一个隐藏层，每个神经元到输出层都有1001003 个互相独立连接，每个连接都对应一个权重参数，这会导致模型训练效率非常低，也很容易出现过拟合（不必要参数太多）
• 第二 局部不变特征，自然图像中的物体都有局部不变性特征，比如在尺度缩放，平移，旋转等操作不影响其语义信息，而全连接前馈神经网络，很难提取这些局部不变特征，比如缩放手，的50503的图像，很难识别出和1001003的 描述的是同一个物体

目前卷积神经网络

一般由卷积层，汇聚层，和全连接层交叉堆叠而成，使用反向传播算法进行训练（反向传播，再重新看一下）
卷积神经网络有三个结构上的特性：局部连接，权重共享以及子采样

滤波器filter 卷积核convolution kernel
局部连接，其实就是根据时间，权重递减 最后为0 参数就传播不到远处了

• 二维卷积中，滤波器也分为好几种
• 均值滤波
• 高斯滤波
  还有一些，可以提取边缘特征的滤波器 等等

局部连接 乘以 滤波器 得特征映射

image.png

互相关，是一个衡量两个序列相关性的函数，
互相关和卷积的区别在于 卷积核仅仅是否进行翻转，因此互相关也可以称为 不翻转卷积
使用卷积 是为了进行特征抽取，卷积核 是否进行翻转和其特征抽取的能力无关。
当卷积核是可以学习的参数，卷积和互相关是等价的，因此，其实两者差不多。

image.png

汇聚层

• 汇聚层也叫做子采样层，其作用是进行特征选择，降低特征数量，并从而减少，参数数量
  汇聚层虽然可以显著提高网络中连接的数量，但特征映射组中但神经元的个数并没有显著减少，如果后面接一个分类器，分类器的输入维数依然很高，很容易出现过拟合，为了解决这个问题，可以在卷积层之后加一个汇聚层，从而降低特征维数，避免过拟合

  
  image.png

• 常用的汇聚函数，有 最大汇聚 和 平均汇聚 两者

  
  image.png

• 卷积神经网络中，主要有两种不同功能的神经层：卷积层和汇聚层
  而参数多为卷积核（滤波器）和偏置，而我们进行算法优化，无非就是修改超参数，因此只需要计算卷积层中参数的梯度。

Tips：P是代表特征映射