1. 什么是逻辑斯蒂回归
逻辑回归是用来做分类算法的。
大家都熟悉线性回归，一般形式是Y=aX+b，y的取值范围是[-∞, +∞]，有这么多取值，怎么进行分类呢？不用担心，伟大的数学家已经为我们找到了一个方法。
也就是把Y的结果带入一个非线性变换的Sigmoid函数中，即可得到[0,1]之间取值范围的数S，S可以把它看成是一个概率值，如果我们设置概率阈值为0.5，那么S大于0.5可以看成是正样本，小于0.5看成是负样本，就可以进行分类了。
2. 什么是Sigmoid函数
函数公式如下：
函数中t无论取什么值，其结果都在[0,-1]的区间内，回想一下，一个分类问题就有两种答案，一种是“是”，一种是“否”，那0对应着“否”，1对应着“是”，那又有人问了，你这不是[0,1]的区间吗，怎么会只有0和1呢？这个问题问得好，我们假设分类的阈值是0.5，那么超过0.5的归为1分类，低于0.5的归为0分类，阈值是可以自己设定的。
好了，接下来我们把aX+b带入t中就得到了我们的逻辑回归的一般模型方程：
结果P也可以理解为概率，换句话说概率大于0.5的属于1分类，概率小于0.5的属于0分类，这就达到了分类的目的。
3.损失函数是什么
逻辑回归的损失函数是log loss，也就是对数似然函数，函数公式如下：
公式中的 y=1 表示的是真实值为1时用第一个公式，真实 y=0 用第二个公式计算损失。为什么要加上log函数呢？可以试想一下，当真实样本为1是，但h=0概率，那么log0=∞，这就对模型最大的惩罚力度；当h=1时，那么log1=0，相当于没有惩罚，也就是没有损失，达到最优结果。所以数学家就想出了用log函数来表示损失函数。
最后按照梯度下降法一样，求解极小值点，得到想要的模型效果。
4. 逻辑斯蒂回归损失函数求导
极大似然估计为：
其中m表示样本量。
对数似然（乘法变加法）：
极大似然估计就是：的所有可能取值中找到一个值，使得极大似然函数取到最大值。
即，我们加一个系数
，转换为求最小值的问题，就可以使用梯度下降了。
求偏导过程如下：
上面我们求导得到的结论：
可以用于这里，然后
最终我们得到了
对比线性回归的
太像了，有木有！只有式中的模型假设不同，逻辑斯蒂回归中模型假设是经过正态分布“映射”处理哒！
我们还是进行迭代：
最终得到合适的参数，就可以计算
，只要这个值大于0.5，就可以断定属于正类(1)，小于0.5，就属于负类（0）。
整个过程推导下来，可知线性回归是逻辑斯蒂回归的基础，但是线性回归用于拟合一个具体的连续值，属于真正的回归问题，而逻辑斯蒂回归得到的是概率值，解决的其实是二分类问题，我们需要根据得到的概率值找到其对应的分类。
网友评论