从线性回归到逻辑回归

作者: p_w | 来源:发表于2020-04-07 18:20 被阅读0次

逻辑回归算法原理
从线性回归到逻辑回归
机器学习实践系列3——二项逻辑回归
机器学习（二）：逻辑回归
极大似然估计与最小二乘
线性分类|机器学习推导系列（四）
哲哲的ML笔记（二十四：支持向量机SVM）
机器学习浅尝
机器学习day7-逻辑回归问题
机器学习-从线性回归到神经网络

线性回归

线性回归之所以称为线性回归，是由于其目标是拟合一条直线来对样例进行分类。
线性回归试图学到 $w$ 和 $b$ ，预测值为 $y_i$ ：
$y_i = \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b$
线性回归一般通过最小二乘法找到参数，得到需要的“直线”。

逻辑回归

线性模型拟合的是直线，如果我们想要拟合其他形状的线呢？例如下图的曲线呢？下图的曲线是直线的衍生物，可以通过直线变化而来，也就是：
$\frac{1} {1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}$

image.png
现在我们得到的

$y_{i} = \left\{\begin{matrix} 1, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b > 0\\ 0.5, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b = 0\\ 0, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b < 0\\ \end{matrix}\right.$

我们定义 $y_{i}=1$ 为正例， $y_{i}=0$ 为负例（二分类情况）。现在我们采用最大似然估计来找到参数 $w$ 和 $b$ 。
最大似然估计的思想是“令每个样本属于其真实标记的概率越大越好”，因此，我们的loss function定义如下：

$l(\mathbf{w}) = P(y_{i}|x_{i},\mathbf{w},b)$

$= \prod_{i=1}^{n}P(y_{i}|x_{i},\mathbf{w},b)^{y_{i}}P(y_{i}|x_{i},\mathbf{w},b)^{1-y_{i}}$

$= \sum_{i=1}^{n}log(P(y_{i}|x_{i},\mathbf{w},b)^{y_{i}}P(y_{i}|x_{i},\mathbf{w},b)^{1-y_{i}})$

$= \sum_{i=1}^{n}y_{i}log\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}+(1-y_{i})log(1- \frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}})$

最终的loss function为：

$l(\mathbf{w}) = argmin_{\mathbf({w},b)} - \sum_{i=1}^{n}y_{i}log\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}+(1-y_{i})log(1- \frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}})$

$= \sum_{i=1}^{n}(1-y_{i})\mathbf{w^{\top }}\cdot \mathbf{x}_{i}+log(1+e^{-\mathbf{w^{\top }}\cdot \mathbf{x}_{i}})$

对 $w$ 求一阶导为：

$\frac{\partial l(w)}{\partial w} = \sum_{i=1}^{n}\mathbf{x}_{i}[\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}-y_{i}]$

逻辑回归算法原理
一、从线性回归到逻辑回归首先从线性回归模型出发，线性回归模型的输出值是连续型变量，值域为；逻辑回归的输出值是离散...
从线性回归到逻辑回归
线性回归线性回归之所以称为线性回归，是由于其目标是拟合一条直线来对样例进行分类。线性回归试图学到和，预测值为：线...
机器学习实践系列3——二项逻辑回归
本文主要介绍逻辑回归的基本概念，并结合实际案例说明逻辑回归的应用。从线性回归到逻辑回归在【机器学习系列2——线...
机器学习（二）：逻辑回归
一、原理解释 1.1、从线性回归到逻辑回归考虑二分类问题，线性回归模型产生的是实值，仍需要转化为0/1值。因此单...
极大似然估计与最小二乘
前言：发出上一篇文章“从线性回归到逻辑回归后”https://www.jianshu.com/p/033b582c...
线性分类|机器学习推导系列（四）
一、从线性回归到线性分类线性回归的特性线性回归具备线性、全局性和数据未加工的特性。线性包括三个方面，其中属性...
哲哲的ML笔记（二十四：支持向量机SVM）
从逻辑回归到SVM 与逻辑回归和神经网络相比，支持向量机，或者简称SVM，在学习复杂的非线性方程时提供了一种更为清...
机器学习浅尝
建立在有高等数学、线性代数的基础下，可以从线性回归、逻辑回归开始突破。线性回归用于解决预测型问题。逻辑回归用于解决...
机器学习day7-逻辑回归问题
逻辑回归逻辑回归，是最常见最基础的模型。逻辑回归与线性回归逻辑回归处理的是分类问题，线性回归处理回归问题。两...
机器学习-从线性回归到神经网络
outline 线性回归逻辑回归 softmax回归神经元模型激活函数多层网络本文主要简单介绍从线性回归...