美文网首页
哲哲的ML笔记（十二：逻辑回归中的代价函数）

哲哲的ML笔记（十二：逻辑回归中的代价函数）

作者: 沿哲 | 来源:发表于2021-03-27 11:13 被阅读0次

代价函数

要定义用来拟合参数的优化目标或者叫代价函数


对于线性回归模型，我们定义的代价函数是所有模型误差的平方和。理论上来说，我们也可以对逻辑回归模型沿用这个定义，但是问题在于，当我们将h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{ -\theta^Tx}}带入到这样定义了的代价函数中时，我们得到的代价函数将是一个非凸函数（non-convexfunction）

这意味着我们的代价函数有许多局部最小值，这将影响梯度下降算法寻找全局最小值。
重新定义逻辑回归的代价函数

这样构建的Cost(h_\theta(x),y)函数的特点是：当实际的y=1 且h_\theta(x)也为 1 时误差为 0，当h_\theta(x)<1 但不为1时误差随着h_\theta(x)变小而变大
由于y只能取0或1，所以Cost(h_\theta(x),y)可以写成
Cost(h_\theta(x),y)=-ylog(h_\theta(x))-(1-y)log(1-h_\theta(x))
J(\theta)=\frac{1}{m}\sum_{i=1}^m-y^{i}log(h_\theta(x^{i}))-(1-y^{i})log(1-h_\theta(x^{i}))

梯度下降

为了得到参数\theta，\mathop{\arg\min}\limits_{\theta}J(\theta),最小化代价函数，使用梯度下降方法，\theta_j=\theta_j-\alpha\frac{\mathrm{d} J }{\mathrm{d} \theta_1}


这个式子正是我们用来做线性回归梯度下降的!!!
对于线性回归假设函数
h_\theta(x)=\theta^TX
对于逻辑回归假设函数
h_\theta(x)=\frac{1}{1+e^{ -\theta^TX}}

相关文章

网友评论

      本文标题：哲哲的ML笔记（十二：逻辑回归中的代价函数）

      本文链接：https://www.haomeiwen.com/subject/uviehltx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|哲哲的ML笔记（十二：逻辑回归中的代价函数）|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！