统计机器学习之逻辑斯蒂回归模型推导

Time: 2019-08-08

命名辨别

这个也叫逻辑斯蒂回归，但是本身是个分类模型，用的是回归方程的解，作为划分分类的依据。

在周志华的西瓜书中提到，用逻辑斯蒂回归这个名称并不是很好，用对数几率回归要更好。

对数几率回归，恰好按照顺序对应了下面这个公式：

从线性回归说起

首先我们还是要再明确一下，无论是线性回归模型还是Logistic Regression模型，需要学习推导的参数都是。

经典的线性回归方程是：

假定有个数据。

为了方便，我们用向量化(不再显示用箭头表示向量了下面)表示：

线性回归模型得到的是实数值，现在我们想的是能够用线性回归模型来分类。

sigmoid函数

这是一个 S型递增函数，具体我就不找图显示了。值域为，定义域为，且关于对称。

逻辑斯蒂回归模型

现在到了组合二者的时候了：

从而：

其中，可以表示样本x为正例的可能性。

几率

几率表示该事件发生的概率与该事件不发生的概率的比值。该比值可以衡量事件发生的概率。

两边取对数得到：

由此得到，可以用线性回归的值来解分类问题。

Sigmoid函数将取值范围压缩到了(0,1)之间，而且恰好以作为分界，，假定数据是均匀的，那么的取值对应的样本概率是一样的。

所以，我们认为分界线以下为负样本，分界线以上为正样本。

同时，两个样例的条件概率取值如下：

假定我们知道了的值，就可以直接求出这两个概率，谁大，则表示数据点划分到哪个类中去。

现在问题来了，如何估算出w和b？

模型参数求解

用的是极大似然函数求解问题，这样我们就有了要优化的量化目标。

其中，很多书上用的是：

条件概率的形式。

我的理解是每个数据点出现的概率，用联合概率的形式，不过二者之间有转换关系。

令：

则：

这样的话，刚好可以在y取0或1时，得出对应的概率表达式。

现在我们可以再看对数似然函数的形式：

这样就完全转化为对的函数了，求偏导，梯度下降法可逼近w，b， 也可以用拟牛顿法直接求解，然后代入求解概率的公式中，谁大就表示哪类即可。

END.

参考：

《机器学习》，周志华
《统计机器学习》，李航