深度学习第六天

对输入数据的归一化和去均值处理：

归一化：把数据特征统一成一个量纲，使数据之间的分布均匀，有助于做网络训练时梯度下降的更加均匀，模型精度更高，收敛的会更好，提高收敛效率。

使数据尽量在0到1之间。

归一化的影响：不做归一化会使不同数据之间的梯度差异非常明显，做梯度下降时梯度会非常不稳定。防止精度爆炸问题，sigmoid和tanh时数据一定要做归一化；relu不一定，但一般都建议进行归一化。

去均值：各维度都减对应维度的均值，使得输入数据各个维度都中心化为0，不去均值容易拟合。

零均值方差归一化：          使数据分布在0的周围，x表示数据，u表示期望

对输出的数据函数处理：

sigmoid：既可以做激活函数也可以做输出函数。

sigmoid图像

softmax：它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是：

softmax

y=x：不做变换输出，输出结果为坐标，我们选择不激活的（y= x）