http://blog.csdn.net/u011239443/article/details/77884830

3.1 神经网络概览

3.2 神经网络表示

3.3 计算神经网络的输出

对应的正向传播公式：

3.4 多个例子中的向量化

3.5 向量化实现的解释

3.6 激活函数

更多可以参阅《神经网络-激活函数对比》

3.7 为什么需要非线性激活函数？

如果没有非线性激活函数，那么神经网络其实就是只是单个神经元的线性组合：

3.8 激活函数的导数

sigmoid

Tanh

ReLU

3.9 神经网络的梯度下降法

更多可见 ： http://blog.csdn.net/u011239443/article/details/76680704#t2

3.10 （选修）直观理解反向传播

总结

3.11 随机初始化

初始化W不能设为0，否则同一层的神经元的改变相同，使得类似于单个神经元：

解决方案，随机生成绝对值较小的初始值（初始值绝对值太大，会使得S型激活函数的绝对值趋于0，从而使得训练缓慢）：

这里写图片描述