1. ReLu. 当使用ReLu激活函数时， 需要使用正态分布的初始化方法，给参数加一点噪声，来打破完全对称并且避免0梯度。有时还需要给偏置附上一些小的非0值来避免dead neuron，比如0.1。
2. Softmax. 当使用Softmax激活函数时，因为Sigmoid在0附近最敏感，梯度最大，所以可以将权重W和偏置b全部初始化为0.
1. ReLu. 当使用ReLu激活函数时， 需要使用正态分布的初始化方法，给参数加一点噪声，来打破完全对称并且避免0梯度。有时还需要给偏置附上一些小的非0值来避免dead neuron，比如0.1。
2. Softmax. 当使用Softmax激活函数时，因为Sigmoid在0附近最敏感，梯度最大，所以可以将权重W和偏置b全部初始化为0.
本文标题：不同激活函数与对应的初始化方法
本文链接：https://www.haomeiwen.com/subject/ycinxxtx.html
网友评论