http://blog.csdn.net/u011239443/article/details/77884830
3.1 神经网络概览
3.2 神经网络表示
3.3 计算神经网络的输出
对应的正向传播公式：
3.4 多个例子中的向量化
3.5 向量化实现的解释
3.6 激活函数
更多可以参阅《神经网络-激活函数对比》
3.7 为什么需要非线性激活函数？
如果没有非线性激活函数，那么神经网络其实就是只是单个神经元的线性组合：
3.8 激活函数的导数
sigmoid
Tanh
ReLU
3.9 神经网络的梯度下降法
更多可见 ： http://blog.csdn.net/u011239443/article/details/76680704#t2
3.10 （选修）直观理解反向传播
总结
3.11 随机初始化
初始化W不能设为0，否则同一层的神经元的改变相同，使得类似于单个神经元：
解决方案，随机生成绝对值较小的初始值（初始值绝对值太大，会使得S型激活函数的绝对值趋于0，从而使得训练缓慢）：
这里写图片描述
网友评论