逻辑回归的由来

作者: 3b899188980c | 来源:发表于2018-04-11 15:24 被阅读181次

初学者可能一直比较困惑逻辑回归的定义为什么是那样的,明明是分类模型为什么又要叫回归?
其实逻辑回归和概率生成模型在数学形式上是统一的,下面是关于逻辑回归定义形式的数学推导



上面的概率公式是不是很熟悉,没错,就是贝叶斯公式,当我们拿到一个样本的特征x的时候,我们希望能够判断出它的类别,转变成贝叶斯模型就变成了上面的公式,稍微做一下变换,就转换成了我们熟悉的逻辑回归公式,下面让我们看一下z是不是可以转变成wx+b的形式



最下面的两个公式我们采用的是高斯分布公式,现实世界里面的绝大部分分布都是高斯分布


OK,我们得到了我们想要的结论,更多内容请参考李宏毅的机器学习

关于逻辑回归的损失函数,其实是两个分布的交叉熵,关于熵的内容,请参考我的其他博客

相关文章

  • 逻辑回归的由来

    初学者可能一直比较困惑逻辑回归的定义为什么是那样的,明明是分类模型为什么又要叫回归?其实逻辑回归和概率生成模型在数...

  • 9.gitchat训练营-逻辑回归

    1.非线性逻辑函数的由来 逻辑回归Logistic Regression(LR)是一种简单、高效的常用分类模型。L...

  • 14逻辑回归,非线性逻辑函数的由来

  • 机器学习day7-逻辑回归问题

    逻辑回归 逻辑回归,是最常见最基础的模型。 逻辑回归与线性回归 逻辑回归处理的是分类问题,线性回归处理回归问题。两...

  • ML03-逻辑回归(下部分)

    本文主题-逻辑回归(下部分):逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

  • ML02-逻辑回归(上部分)

    本文主题-逻辑回归(上部分):逻辑回归的应用背景逻辑回归的数学基础逻辑回归的模型与推导逻辑回归算法推导梯度下降算法...

  • Task 01|基于逻辑回归的分类预测

    知识背景 关于逻辑回归的几个问题 逻辑回归相比线性回归,有何异同? 逻辑回归和线性回归最大的不同点是逻辑回归解决的...

  • 逻辑回归模型

    1.逻辑回归介绍2.机器学习中的逻辑回归3.逻辑回归面试总结4.逻辑回归算法原理推导5.逻辑回归(logistic...

  • 11. 分类算法-逻辑回归

    逻辑回归 逻辑回归是解决二分类问题的利器 逻辑回归公式 sklearn逻辑回归的API sklearn.linea...

  • 机器学习100天-Day4-6逻辑回归

    逻辑回归(Logistic Regression) 什么是逻辑回归 逻辑回归被用于对不同问题进行分类。在这里,逻辑...

网友评论

    本文标题:逻辑回归的由来

    本文链接:https://www.haomeiwen.com/subject/aaxzhftx.html