【转载】神经网络梯度消失的解释

原文链接：http://blog.csdn.net/baidu_29782299/article/details/52742773

转载自哈工大SCIR（公众号）

为了弄清楚为何会出现消失的梯度，来看看一个极简单的深度神经网络：每一层都只有一个单一的神经元。下图就是有三层隐藏层的神经网络：