逻辑回归

作者: _LEON_ | 来源:发表于2019-07-12 12:34 被阅读0次

机器学习day7-逻辑回归问题
ML03-逻辑回归（下部分）
ML02-逻辑回归（上部分）
逻辑回归模型
Task 01|基于逻辑回归的分类预测
11. 分类算法-逻辑回归
机器学习100天-Day4-6逻辑回归
SKlearn_逻辑回归小练习
R glm
逻辑斯蒂回归在二分类中的应用

逻辑回归和线性回归很相似，线性回归的y一般在 $(-\inf,\inf)$ 区间，而逻辑回归的y在[0, 1]区间，而这恰好是概率的范围，因此逻辑回归可以用于二分类问题。当预测y小于0.5时是负例，否则就是正例。

逻辑回归相当于给线性回归加了个转换函数，将 $(-\inf,\inf)$ 转换为[0, 1]。这个函数就是sigmoid函数 $y=\dfrac{1}{1+e^{-z}}$ ，当z = 0 时候 y = 0.5, 当z < 0 时 y < 0.5，当 z > 0 时 y > 0.5。

对于二分类问题，可以认为逻辑回归预测的就是概率。评价逻辑回归的效果就是看这个预测概率准不准，当为正例(y=1)时预测概率 $\hat{y}$ 越大越好，当为负例(y=0)时预测概率 $\hat{y}$ 越小越好，即 $1-\hat{y}$ 越大越好，可以用一个函数统一表示这种情况，即 $\hat{y}^y(1-\hat{y})^{1-y}$ 。对于每个样本的预测概率都可以用该式表示。然后我们认为整个数据集的样本的独立的，那么整个数据集的预测概率就是每个样本的预测概率之积。我们寻找的就是使整个预测概率最大的系数的值，也就是最大似然估计。对于这种幂函数乘积形式的表达式，可以通过ln转化成连加的形式简化运算，最后这个表达式变为 $\sum(yln{\hat{y}} + (1-y)ln(1-\hat{y}))$ 。这个表达式前面加个负号就是逻辑回归的损失函数，因为损失函数的值时越小越好。

对于逻辑回归一样可以用梯度下降求解，令 $\hat{y}=\dfrac{1}{1+e^{-z}}, z=w^TX$ ，那么
$yln{\hat{y}} + (1-y)ln(1-\hat{y}) = yln\dfrac{\hat{y}}{1-\hat{y}} + ln(1-\hat{y}) \\=yz - ln(1+e^z)$
然后再求偏导数
$\frac{\partial L}{\partial w} = (y\frac{\partial z}{\partial w}-\frac{e^z}{1+e^z}\frac{\partial z}{\partial w}) = (y-\frac{e^z}{1+e^z})X$