神经网络的代价函数
反向传播
定义为:"error" of node j in layer l
其中:
=
=
=
=
=
反向传播的计算:
For i = 1 to m:
设置
向前传播计算, 其中 l = 2, 3 ... L
利用 计算(即最后输出层),
计算, , , ...,
定义:
而
梯度检测
如何判断实现的反向传播算法是好的?需要近似的快速得出梯度值,进行检测。
随机初始化
在Θ的初始值选择时,如果选择全0或者全1,在后续的计算中,α值一样,进行了大量的一样的数值计算,通过随机化选择不一样的值,提高效率。
网友评论