逻辑回归总结

1、面试：一句话解释逻辑回归

LR是一种用于分类问题的对数线性判别式模型，由条件概率表示，其形式为参数化的逻辑斯蒂分布，可通过监督学习方式来估计模型参数。具体来说，LR的参数估计通过极大似然函数转为对数似然的最优化问题，其也是LR中的损失函数的表示形式，优化方法采用梯度下降法估计最佳参数。

2、LR为什么名字中带有回归二字？

虽然是一个分类算法，但其本质还是一个回归模型，只是其回归对象是sigmoid函数。另外，由对数几率可以推导出输出y=1的对数几率函数等于输入x的线性模型，也就是LR是一个对数线性模型。

3、LR要求数据线性可分吗？

LR是要求的，但是LR同样可以处理线性不可分数据，但需要依赖构造高此项，而SVM中使用核函数。

4、LR有全局最优解吗

LR的损失函数是典型的凸函数，正则化的结构风险函数更是一个严格凸函数，因此可以通过凸优化方法找到全局最优。

5、LR可以使用核函数吗？

在LR使用L2的前提下可以使用核函数。
原因：
L2正则的形式刚好跟SVM中的loss相近，而LR中的经验风险loss也就是SVM中的软间隔的缩放损失。
换句话说，SVM的软间隔loss形式类似于做L2正则的LR的loss。