卷积神经网络

1 卷积网络层次类型

卷积层，通过多个卷积核进行特征提取

激活层，非线性激活函数处理滤波结果，常用的有ReLu，sigmoid

池化层，通过降采样降低输出维度，赋予模型对轻度形变的容忍性，提高模型泛化能力

归一化层，非典型层。在LeNet中用到，用于提高模型准确率，增加泛化能力。

2 CNN特点

局部连接，基于人的感受野，每个神经元只会对小块区域激活，通过卷积核可以降低参数维度

权值共享，每个隐层对应的卷积核参数一致，进一步降低参数维度

池化层降采样，降低输出维度，赋予模型对轻度形变的容忍性，提高模型泛化能力

3经典的卷积神经网络

早期比较著名的卷积神经网络是1994年由Yann Lecun提出的LeNet5，包括3个卷积层，1个全连接层和1个高斯连接层，这个模型用到的很多方法在当前最先进的网络依然有效。包括卷积层的构成，使用卷积提取特征，降采样，使用MLP作为分类器，使用tanh和sigmoid函数激活。

2012年，由Hinton的学生Alex提出的更大规模的卷积神经网络在ILSVRC一鸣惊人，取得了远低于其他模型的分类错误率。后续的ILSVRC，更大规模的神经网络取得了更低的分类错误率，甚至超过了人类。

Tensorflow实战（黄文坚，唐源著）