LR(Logistic Regression Classifie

一、二分类问题

背景：用一个函数拟合二分类问题。最直观的是阶跃函数，但缺点：0值不可导，因此要连续可微函数 sigmoid。
sigmoid函数的作用：

1. 线性回归预测值域是实数域，逻辑回归限制预测范围在[0,1]

2. 逻辑回归在0附近是敏感的，模型更关注分类边界，因此增强模型鲁棒性
   回归问题变成分类问题。

   
   sigmoid函数图像

二、LR的假设

1. 数据服从伯努利分布，样本正类概率p，负类1-p
2. 正类概率是sigmoid函数计算的

三、LR相关的问题

1.LR主要解决什么问题？目的？

LR假设数据服从伯努利分布，通过极大化似然函数，运用梯度下降求解参数，达到将数据二分类的目的。

2.LR的推导

l(w,b)=Σ ln p(y_i|x_i;w,b)
l'(w) = ... l'(b)=...

3.为什么要用极大似然函数做损失函数？交叉熵损失函数 VS MSE

1. 从公式上看，MSE不是严格凸函数。
2. 前者更新速度稳定，避免梯度消失。 MSE求偏导时，有一项因子是w，在初始化时w很小的时候，容易梯度消失。
   概念：极大似然估计w,b -- 所有样本出现的概率最大化 ->交叉熵损失函数

4. LR如何应对多分类？

(1) OVO
缺点： 分类器更多，C(n,2)个分类器
集成方法：投票机制，3个投类1，2个投类2，最后预测为类1
(2) OVR
N个分类器
集成方法：各个分类器中，选择预测概率最大的类
(3) Softmax
公式：

Softmax

5.线性回归和逻辑回归的区别？

1. 解决的问题，线性回归是回归问题、连续值；
2. 损失函数，最小二乘法，MSE；极大似然估计法，交叉熵损失函数

6. 如何解决过拟合现象？

1. 增加正则化：

• L1正则：模型参数服务0均值 拉普拉斯分布;倾向于参数更稀疏
• L2正则：模型参数服务0均值 正态分布;

7. LR为什么要对特征进行离散化

1.离散后对异常值更具鲁棒性
2.离散化后，相当于非线性，还可以进行特征交叉（同样是引入非线性），提升表达能力

8. LR特征稀疏的绝对值不一定是特征的重要性

1. 特征的尺度变化的话，系数的绝对值会变
2. 特征是线性相关的话，系数就会转移。

9. 遇到梯度下降，一般都需要归一化

10.逻辑回归和MLP的关系？

隐层到输出层 = 多类别的逻辑回归