美文网首页
Sigmoid函数求导过程

Sigmoid函数求导过程

作者: AI陈思旭 | 来源:发表于2019-08-07 15:55 被阅读0次

回顾原由:在推荐系统中,排序阶段会用到逻辑回归,那自然要在温习下Sigmoid函数求导过程。

Sigmoid函数:f(x) = 1/(1+e^{-x})

在对Sigmoid函数求导,还需回顾4个求导知识点(只有一点数学公式,不用紧张,你一定可以看懂):    

1、为什么要对Sigmoid函数求导?其实就是求极值。

2、(x^n) 进行求导等于 nx^{n-1}

3、(e^x)进行求导等于e^x

4、复合函数求导:f(g(x))' = \frac{df}{dg} * \frac{dg}{dz} ,例如:1/(1+e^{-x}) = (1+e^{-x})^{-1},那么1+e^{-x}就是g(x)

Sigmoid求导过程:

f(x)’ = -(1+e^{-x})^{-2}*(-e^{-x})              …………………………(1)两个负号抵消

           =\frac{1+e^{-x}-1}{(1+e^{-x})^{2}}                                   …………………………(2)加1和减1

           =\frac{1}{1+e^{-x}}-(\frac{1}{1+e^{-x}} )^2                …………………………(3)

           其中\frac{1}{1+e^{-x}}可以整体替换下为t(x)

           = t(x)(1-t(x))                                       ……………………………(4)

遇到一个小问题:e^{-x}的求导犯过错,也是复合函数求导,正确求导结果:e^{-x}*(-x)'=-e^{-x}

思考一个问题:为什么要对Sigmoid函数进行求导呢?在这里有什么用呢?

相关文章

网友评论

      本文标题:Sigmoid函数求导过程

      本文链接:https://www.haomeiwen.com/subject/ynobhctx.html