逻辑回归算法（二）

一、线型回归模型（Linear Regression）

为了更好的实现分类，逻辑回归诞生了。

[逻辑回归是假设数据服从Bernoulli（伯努利）分布，因此LR属于参数模型]

二、逻辑回归（LR）

        通过在线性回归模型中引入Sigmoid函数，将线性回归的不确定范围的连续输出值映射到（0，1）范围内，成为一个概率预测问题。

1、如何求解模型的参数？

2、模型的优化-引入正则化

3、LR如何解决多分类问题？

注：softmax函数介绍

        输出向量中拥有最大权重的项对应着输入向量中的最大值“4”。这也显示了这个函数通常的意义：对向量进行归一化，凸显其中最大的值并抑制远低于最大值的其他分量。

使用softmax的多分类与使用Sigmoid的二分类有什么区别与联系？ 

通过上面的推导可知，当多分类的K=2时，与使用Sigmoid的二分类是一致的。

4、LR如何解决线性不可分问题？

逻辑回归本质上是一个线性模型，但是，这不意味着只有线性可分的数据能通过LR求解，实际上，我们可以通过2种方式帮助LR实现：

（1）利用特殊核函数，对特征进行变换：把低维空间转换到高维空间，而在低维空间不可分的数据，到高维空间中线性可分的几率会高一些。

（2）扩展LR算法，提出FM算法。

更多详细内容参考：https://www.imooc.com/article/46843