以BP神经网络为例，若是都初始化为零，那么正向神经网络计算出来的输出值都相同，所以反向传播算法计算出来的梯度值也相同，导致参数更新值也一样(w=w−α∗dw)。
参考资料：https://www.zhihu.com/question/36068411
http://cs231n.github.io/neural-networks-2/
以BP神经网络为例，若是都初始化为零，那么正向神经网络计算出来的输出值都相同，所以反向传播算法计算出来的梯度值也相同，导致参数更新值也一样(w=w−α∗dw)。
参考资料：https://www.zhihu.com/question/36068411
http://cs231n.github.io/neural-networks-2/
本文标题：神经网络权重初始化为什么不能为零
本文链接：https://www.haomeiwen.com/subject/tgrqbqtx.html
网友评论