Sigmoid Function, 即双弯曲函数.
公式
![](https://img.haomeiwen.com/i749674/c9b3ecfc3ed3eeff.png)
取值范围:
![](https://img.haomeiwen.com/i749674/27165a26e76b44a0.png)
当z=0时, sigmoid值是0.5;
当z=4时, sigmoid值是0.982≈1;
当z=-4时, sigmoid值是0.018≈0;
梯度
![](https://img.haomeiwen.com/i749674/3a21b587f93ce3d7.png)
即
![](https://img.haomeiwen.com/i749674/8a82a62e3c502320.png)
取值范围:
![](https://img.haomeiwen.com/i749674/9a2c9f27193a7c65.png)
优缺点:
- 神经网络中的激活函数, 其作用就是引入非线性;
- 输出范围有限, 数据在传递的过程中不容易发散; 缺点是饱和的时候梯度太小;
- 输出范围为(0, 1), 所以可以用作输出层, 输出表示概率;
- 容易求导, y'=y(1-y), 这样很容易做bp(back propagation, 反向传播).
关于Sigmoid算法, 非常全面的讲解. That's all! Enjoy it!
网友评论