美文网首页
逻辑回归

逻辑回归

作者: 迷途的Go | 来源:发表于2018-10-05 12:06 被阅读0次

逻辑回归

逻辑回归先从线形回归引入，即通过一些数据去拟合一个函数y=wx +b,再来一个新的数据x_i，可以通过这个函数(模型)得到它对应的输出

通过均方误差求解函数参数

E_{(w,b)}=min \sum_i^m(y_i-wx_i-b)^2

上式子分别对w,b求导并令导数为0解出

w=\frac {\sum_i^my_i(x_i-\hat x)}{\sum_i^mx_i^2-\frac{1}{m}(\sum_i^mx_i)^2}

b=\frac{1}{m}\sum_1^m(y_i-wx_i)

将上述的线形模型整体输入sigmod函数就可以得到逻辑回归

即将y=wx+b整体输入进y=\frac{1}{1+e^{-z}},得到一个0-1之间的概率值

对每个输入x，通过逻辑回归都会得到一个概率值，代表它是正类的概率或者是负类的概率是多少，得到

p(y=1|x)=\frac{e^{w^Tx+b}}{1+e^{w^Tx+b}}

p(y=0|x)=\frac{1}{1+e^{w^Tx+b}}

逻辑回归的模型代表了什么样的输入就会得到什么样概率的输出，那如何得到模型的参数，有了输入，它所对应的分类—比如是0还是1，目标定为使得模型输出为label的概率最大

所以先定义个似然函数：

l(w,b)=\sum_i^mlnp(y_i|x_i;w,b)—>输入x_i，得到y_i的概率要尽可能的大

在二分类中

p(y_i|x_i;w,b)=y_ip_1(x_i;w,b)+(1-y_i)p_0(x_i;w,b)

所以将上式代入loss函数中，得到最终的目标函数：

l(w,b)=min \sum_i^m(-y_i(wx_i+b)+ln((1+e^{wx_i+b})))

用梯度下降法等解决凸优化等可以解得w,b

相关文章

  • 机器学习day7-逻辑回归问题

    逻辑回归 逻辑回归，是最常见最基础的模型。 逻辑回归与线性回归 逻辑回归处理的是分类问题，线性回归处理回归问题。两...

  • ML03-逻辑回归（下部分）

    本文主题-逻辑回归（下部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

  • ML02-逻辑回归（上部分）

    本文主题-逻辑回归（上部分）：逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

  • 逻辑回归模型

    1.逻辑回归介绍2.机器学习中的逻辑回归3.逻辑回归面试总结4.逻辑回归算法原理推导5.逻辑回归(logistic...

  • Task 01|基于逻辑回归的分类预测

    知识背景 关于逻辑回归的几个问题 逻辑回归相比线性回归，有何异同？ 逻辑回归和线性回归最大的不同点是逻辑回归解决的...

  • 11. 分类算法-逻辑回归

    逻辑回归 逻辑回归是解决二分类问题的利器 逻辑回归公式 sklearn逻辑回归的API sklearn.linea...

  • 机器学习100天-Day4-6逻辑回归

    逻辑回归（Logistic Regression） 什么是逻辑回归 逻辑回归被用于对不同问题进行分类。在这里，逻辑...

  • SKlearn_逻辑回归小练习

    逻辑回归 逻辑回归（Logistic regression 或logit regression），即逻辑模型（英语...

  • R glm

    R 逻辑回归 R 怎么做逻辑回归

  • 逻辑斯蒂回归在二分类中的应用

    逻辑回归简介 逻辑斯蒂回归（logistic regression，又称“对数几率回归”）是经典的分类方法。逻辑斯...

网友评论

      本文标题：逻辑回归

      本文链接：https://www.haomeiwen.com/subject/dbcqaftx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|逻辑回归|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！