从线性回归到逻辑回归

作者: p_w | 来源:发表于2020-04-07 18:20 被阅读0次

线性回归

线性回归之所以称为线性回归，是由于其目标是拟合一条直线来对样例进行分类。
线性回归试图学到 $w$ 和 $b$ ，预测值为 $y_i$ ：
$y_i = \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b$
线性回归一般通过最小二乘法找到参数，得到需要的“直线”。

逻辑回归

线性模型拟合的是直线，如果我们想要拟合其他形状的线呢？例如下图的曲线呢？下图的曲线是直线的衍生物，可以通过直线变化而来，也就是：
$\frac{1} {1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}$

image.png
现在我们得到的

$y_{i} = \left\{\begin{matrix} 1, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b > 0\\ 0.5, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b = 0\\ 0, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b < 0\\ \end{matrix}\right.$

我们定义 $y_{i}=1$ 为正例， $y_{i}=0$ 为负例（二分类情况）。现在我们采用最大似然估计来找到参数 $w$ 和 $b$ 。
最大似然估计的思想是“令每个样本属于其真实标记的概率越大越好”，因此，我们的loss function定义如下：

$l(\mathbf{w}) = P(y_{i}|x_{i},\mathbf{w},b)$

$= \prod_{i=1}^{n}P(y_{i}|x_{i},\mathbf{w},b)^{y_{i}}P(y_{i}|x_{i},\mathbf{w},b)^{1-y_{i}}$

$= \sum_{i=1}^{n}log(P(y_{i}|x_{i},\mathbf{w},b)^{y_{i}}P(y_{i}|x_{i},\mathbf{w},b)^{1-y_{i}})$

$= \sum_{i=1}^{n}y_{i}log\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}+(1-y_{i})log(1- \frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}})$

最终的loss function为：

$l(\mathbf{w}) = argmin_{\mathbf({w},b)} - \sum_{i=1}^{n}y_{i}log\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}+(1-y_{i})log(1- \frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}})$

$= \sum_{i=1}^{n}(1-y_{i})\mathbf{w^{\top }}\cdot \mathbf{x}_{i}+log(1+e^{-\mathbf{w^{\top }}\cdot \mathbf{x}_{i}})$

对 $w$ 求一阶导为：

$\frac{\partial l(w)}{\partial w} = \sum_{i=1}^{n}\mathbf{x}_{i}[\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}-y_{i}]$

从线性回归到逻辑回归

线性回归

逻辑回归

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读