深度学习经典模型

先挖坑，后面填。

CNN

参考：

• CS231n Convolutional Neural Networks for Visual Recognition
• 基于tensorflow的MNIST手写字识别（一）--白话卷积神经网络模型

以MINST数字识别为例，一般模型为：

• 输入层 28*28
• 卷积层1 32@28*28
• 池化层1 32@14*14
• 卷积层2 64@14*14
• 池化层2 64@7*7
• 全连接层 1024个神经元
• 输出层 10个神经元

输入层是28*28，对应图片像素大小

卷积patch为5*5，又称为感受野（receptive field）

池化的stride为[1,1,1,1], padding选择为SAME

池化层有的地方又称为亚采样。

卷积的生物意义是捕捉图像的局部特征...

LSTM

• Understanding LSTM Networks
• 理解LSTM网络

LSTM 四层，三个门

• 每个门通过h(t-1)，x(t)确定输出比例，就是sigmoid函数
• 对于当前单元，先从C(t-1)获取信息，然后从h(t-1)，x(t)获取信息，两者相加得到当前Cell state保存的信息C(t)
• 基于Cell state保存信息输出信息

细分：

• forget gate: 控制从C(t-1)获取多少信息
• input gate: 控制从h(t-1)，x(t)获取多少信息
• output gate: 控制从C(t)输出多少信息

seq2seq

待补充