【深度学习】

1, 两个重要的函数：得分函数和损失函数
损失函数： hinge损失，softmax 损失。
hinge损失: max(0, fx-ft-D)

反向传播目的： 求权重使得损失函数最小。

2, CNN
 卷积神经网络：
2.1 数据输入层：
常见的图像数据处理方式：
    1）去均值（输入数据各个维度都中心化到0），
    2）归一化（幅度归一化到同样的范围），
    3）PCA/白化（PCA 降维，白化是对数据每个特征轴上的幅度归一化）
2.2 卷积计算层：
局部关联，每个神经元看做一个filter. 窗口滑动。
深度depth, 步长stride，填充值 zero-padding.
参数共享机制。假设每个神经元连接数据窗口的权重是固定的。
2.3 卷积层：
固定每一个神经元连接权重，可以看做模板。每个神经元只关注一个特征。
2.4 激励层：
把卷积层输出结果做非线性映射。
Sigmoid 、Tanh 函数都会有 x较大、小时 导数非常小。
修正线性单元ReLU= max(0, x) 收敛速度快，梯度简单
Leaky ReLU: f(x) = max(ax, x)  一般情况 a=0.01或者0.001.  不会饱和，计算很快。
ELU： f(x)= x(if x >0), f(x) = a(exp(x)-1) if(x<=0) 保证输出均值为0.
2.5 池化层：
夹在连续的卷积层中间。压缩数据和参数的量，减小过拟合。
（下采样压缩）  图片压缩依据是图片像素在很小的范围内值差不多。
Max pooling . 取步长内最大值。 average pooling.  取步长内均值。
2.6 全连接层：
两层之间所有神经元都有权重连接。通常全连接在卷积神经网络的尾部。
2.7 softmax