逻辑回归总结

1、对逻辑回归的理解

（1）逻辑回归解决分类的问题

线性回归不能解决分类问题，但是如果将样本的特征和样本发生的概率联系起来，即预测的是样本发生的概率是多少，就可以将回归的方法应用于分类问题。由于概率是一个数，因此被叫做“逻辑回归”。

在线性回归算法的例子中，我们进行房价预测得到的结果是一个数值，但是我们在逻辑回归算法中，得到的预测值是一个概率，然后在概率的基础上多做一步操作，得到分类的结果。如设置阈值为0.5，如果得到的概率大于0.5就为正，否则为负，则可用数学表达式表达如下：

因此可以看出，在回归问题上再多做一步，就可以作为分类算法来使用了。逻辑回归只能解决二分类问题，如果是多分类问题，LR本身是不支持的。并且，需要注意的是，一般的回归问题得到的值是没有限制的，值域从负无穷到正无穷，而对于概率来说，其值域是[0,1]。如果直接使用线性回归得到的结果拟合概率结果的可信程度较差。

（2）sigmoid函数

sigmoid函数表达式如下：

在学术界被称为sigmoid函数，是在数据科学领域，特别是神经网络和深度学习领域中非常重要的函数！。其图像如下图所示，呈S状，因此也被称为“S函数”。当t趋近于正无穷时，函数值趋近于1；当t趋近于负无穷时，函数值趋近于0。因此该函数的值域为(0,1)。

将效用函数之差（同样是线性回归模型）带入sigmoid函数中，当t>0时，得到的结果是概率值p>0.5;当t<0时，得到的结果是p<0.5。因此，实际上我们得到是这样的公式：

至此，得到大名鼎鼎的逻辑回归模型，形式如下：

（3）从对数几率看逻辑回归

在“对数线性回归”的公式中，可以改写为。实际上是在求输入空间X到输出空间y的非线性函数映射。对数函数的作用是将线性回归模型的预测值与真实标记联系起来。

因此可以得到一个一般意义上的单调可微的“联系函数”：。其本质就是给原来线性变换加上一个非线性变换(或者说映射)，使得模拟的函数有非线性的属性，但本质上调参还是线性的，主体是内部线性的调参。

那么对于解决分类问题的逻辑回归来说，我们需要找到一个“联系函数”，将线性回归模型的预测值与真实标记联系起来。

将“概率”转换为“分类”的工具是“阶梯函数”：

但是这个阶梯函数不连续，不能作为“联系函数”g，因此使用对数几率函数来在一定程度上近似阶梯函数，将线性回归模型的预测值转化为分类所对应的概率。

如果另y为正例，1-y为负例，所谓的“几率”就是二者的比值y/1+y。几率反映了样本x为正例的相对可能性。“对数几率”就是对几率取对数ln(y/1+y)，对数几率实际上就是之前提到的sigmoid函数，将线性模型转化为分类。将如下公式：

代入到对数几率中，则得到如下公式：

可以看出，sigmoid实际上就是用线性回归模型的预测结果取逼近真实值的对数几率，因此逻辑回归也被称为“对数几率回归”。

2、逻辑回归的损失函数

逻辑回归和线性回归最大的区别就是：逻辑回归解决的是分类问题，得到的y要么是1，要么是0。而我们估计出来的p是概率，通过概率决定估计出来的p到底是1还是0。因此，也可以将损失函数分成两类：

（1）如果给定样本的真实类别y=1，则估计出来的概率p越小，损失函数越大（估计错误）

（2）如果给定样本的真实类别y=0，则估计出来的概率p越大，损失函数越大（估计错误）

因此可以想到如下函数：

当y=1时，损失函数为-log(p)。特点是：p越趋于0，损失（loss）越大；越趋于1，损失（loss）越小。当y=0时，损失函数为-log(1-p)，特点是，p越趋近于1，损失越大，越趋近于0，损失越小。

由于模型是个二分类问题，分类结果y非0即1，因此我们可以使用一个巧妙的方法，通过控制系数的方法，将上面的两个式子合并成一个：

以上是对于单个样本的误差值，那么求整个集合内的损失可以取平均值：

然后，将p替换成sigmoid函数，得到逻辑回归的损失函数如下：