美文网首页
Logistic Regression推导过程

Logistic Regression推导过程

作者: prolic | 来源:发表于2019-08-29 18:17 被阅读0次

Logistic Regression推导过程

逻辑回归选用Sigmoid函数作为预测函数
h_\theta(x) = g(\theta^Tx),g(z)= \frac{1}{1+e^{-z}}
h_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}
概率函数形式如下
P(y^{(i)}|x^{(i)};\theta)=(h_\theta(x^{(i)}) ^{y^{(i)}}) \cdot (1-h_\theta(x^{(i)}))^{1-y(i)}
似然函数形式如下
\begin{align} L(\theta) &= P(\overrightarrow{Y} | X; \theta) \\ &= \prod_{i=1}^N P(y^{(i)}||x^{(i)};\theta) \\ &= \prod_{i=1}^N (h_\theta(x^{(i)}))^{y^{(i)}}(1-h_\theta(x^{(i)}))^{1-y^{(i)}} \end{align}
便于计算,对数似然函数:
\begin{align} l(\theta) &= \sum_{i=1}^N \log l (\theta) \\ &= \sum_{i=1}^N y^{(i)}\log(h_\theta(x^{(i)})) + (1-y^{(i)})\log(1-h_\theta(x^{(i)})) \end{align}
损失函数
J(\theta) = - \frac{1}{m}[\sum_{i=1}^m (y^{(i)}\log h_\theta(x^{(i)}) + (1-y^{(i)})\log(1-h_\theta(x^{(i)})))]
对J取偏导,步骤如下
\begin{align} \frac{\partial}{\partial\theta_j}J(\theta) &= -\frac{1}{m}\sum_{i=1}^m\left( y^{(i)}\frac{1}{h_\theta(x^{(i)})} \frac{\partial}{\partial\theta_j}h_\theta(x^{(i)})-(1-y^{(i)})\frac{1}{1-h_\theta(x^{(i)})} \frac{\partial}{\partial\theta_j} h_\theta(x^{(i)}) \right) \\ &= -\frac{1}{m}\sum_{i=1}^m\left( y^{(i)}\frac{1}{g(\theta^Tx^{(i)})} - (1-y^{(i)})\frac{1}{1-g(\theta^Tx^{(i)})} \right) \frac{\partial}{\partial\theta_j}g(\theta^Tx^{(i)}) \\ &= -\frac{1}{m}\sum_{i=1}^m\left( y^{(i)}\frac{1}{g(\theta^Tx^{(i)})} - (1-y^{(i)})\frac{1}{1-g(\theta^Tx^{(i)})} \right) g(\theta^Tx^{(i)}) \left(1-g(\theta^Tx^{(i)})\right) \frac{\partial}{\partial\theta_j} \theta^Tx^{(i)} \\ &= -\frac{1}{m}\sum_{i=1}^m\left( y^{(i)} \left(1-g(\theta^Tx^{(i)})\right) - (1-y^{(i)})g(\theta^Tx^{(i)}) \right)x_{j}^{(i)} \\ &= -\frac{1}{m}\sum_{i=1}^m\left( y^{(i)} - g(\theta^Tx^{(i)}) \right)x_{j}^{(i)} \\ &= -\frac{1}{m}\sum_{i=1}^m\left( y^{(i)} - h_\theta(x^{(i)}) \right)x_{j}^{(i)} \\ &= \frac{1}{m}\sum_{i=1}^m\left( h_\theta(x^{(i)}) - y^{(i)} \right)x_{j}^{(i)} \end{align}
梯度下降更新过程如下
\begin{align} \theta_j \mathrel{\mathop:} &= \theta_j - \alpha\frac{\partial}{\partial\theta_j}J(\theta), (j=0 \dots n) \\ \theta_j \mathrel{\mathop:} &= \theta_j - \alpha\frac{1}{m}\sum_{i=1}^m\left( h_\theta(x^{(i)}) - y^{(i)} \right) x_{j}^{(i)}, (j=0 \dots n) \\ \theta_j \mathrel{\mathop:} &= \theta_j - \alpha\sum_{i=1}^m\left( h_\theta(x^{(i)}) - y^{(i)} \right) x_{j}^{(i)}, (j=0 \dots n) \end{align}

相关文章

网友评论

      本文标题：Logistic Regression推导过程

      本文链接：https://www.haomeiwen.com/subject/bglwectx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|Logistic Regression推导过程|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！