哲哲的ML笔记（十二：逻辑回归中的代价函数）

哲哲的ML笔记（十二：逻辑回归中的代价函数）

作者: 沿哲 | 来源:发表于2021-03-27 11:13 被阅读0次

代价函数

要定义用来拟合参数的优化目标或者叫代价函数

对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将

h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{ -\theta^Tx}}

带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。
重新定义逻辑回归的代价函数

这样构建的 $Cost(h_\theta(x),y)$ 函数的特点是：当实际的 $y=1$ 且 $h_\theta(x)$ 也为 1 时误差为 0，当 $h_\theta(x)<1$ 但不为1时误差随着 $h_\theta(x)$ 变小而变大
由于 $y$ 只能取0或1，所以 $Cost(h_\theta(x),y)$ 可以写成
$Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))$
$J(\theta)=\frac{1}{m}\sum_{i=1}^m-y^{i}log(h_\theta(x^{i}))-(1-y^{i})log(1-h_\theta(x^{i}))$

梯度下降

为了得到参数 $\theta$ ， $\mathop{\arg\min}\limits_{\theta}J(\theta)$ ,最小化代价函数，使用梯度下降方法， $\theta_j=\theta_j-\alpha\frac{\mathrm{d} J }{\mathrm{d} \theta_1}$

这个式子正是我们用来做线性回归梯度下降的!!!
对于线性回归假设函数

h_\theta(x)=\theta^TX

对于逻辑回归假设函数

h_\theta(x)=\frac{1}{1+e^{ -\theta^TX}}

相关文章

网友评论

本文标题：哲哲的ML笔记（十二：逻辑回归中的代价函数）

本文链接：https://www.haomeiwen.com/subject/uviehltx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

栏目导航

热点阅读

关于我们|服务条款|联系我们|哲哲的ML笔记（十二：逻辑回归中的代价函数）|投稿指南|网站地图|RSS订阅|排版工具|手机版

提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网版权所有

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！