卷积网络

全连接层网络：不考虑图像的空间结构
卷积神经网络：使用一个特别适用于分类图像的特殊架构

卷积神经网络

- 局部感受野（local receptive fields）
输⼊像素上的⼀个⼩窗⼝的区域被称为隐藏神经元的局部感受野。

• 输出大小=(N-F)/stride+1
• 输出大小=(N+2*pad-F)/stride+1,加入 pad(填充0在周围一圈)

- 共享权重（shared weights）
卷积⽹络能很好地适应图像的平移不变性

把从输⼊层到隐藏层的映射称为⼀个特征映射。我们把定义特征映射的权重称为共享权重。我们把以这种⽅式定义特征映射的偏置称为共享偏置。共享权重和偏置经常被称为⼀个卷积核或者滤波器

- 混合/池化（pooling）

卷积神经⽹络也包含混合层（pooling layers）。混合层通常紧接着在卷积层之后使⽤。它要做的是简化从卷积层输出的信息

最⼤值混合/池化（max-pooling）：⼀个混合单元简单地输出其2 * 2 输⼊区域的最⼤激活值
L2 混合（L2 pooling）：取2*2 区域中激活值的平⽅和的平⽅根

综合

• 卷积-混合层——全连接层

这个⽹络从28 28 个输⼊神经元开始，这些神经元⽤于对MNIST 图像的像素强度进行编码。接着的是⼀个卷积层，使⽤⼀个55 局部感受野和3 个特征映射。其结果是⼀个32424隐藏特征神经元层。下⼀步是⼀个最⼤值混合层，应⽤于2* 2 区域，遍及3 个特征映射。结果是⼀个3 *12 *12 隐藏特征神经元层。⽹络中最后连接的层是⼀个全连接层。更确切地说，这⼀层将最⼤值混合层的每⼀个神经元连接到每⼀个输出神经元

梯度不稳定(消失/爆炸)

1. 使⽤卷积层极⼤地减少了这些层中的参数的数⽬，使学习的问题更容易
2. 使⽤更多强有⼒的规范化技术（尤其是弃权和卷积层）来减少过度拟合，否则它在更复杂的⽹络
   中是更多的问题
3. 使⽤修正线性单元⽽不是S 型神经元，来加速训练—— 依据经验通常是3–5 倍
4. 使⽤GPU 并愿意⻓时间的训练。
5. 利⽤充分⼤的数据集（为了避免过度拟合）;使⽤正确的代价函数（为了避免学习减速);使⽤好的权重初始化（也是为了避免因为神经元饱和引起的学习减速）;以算法形式扩展训练数据。