0x05_多元线性回归+偏差与方差+L12正则

#多元线性回归

通俗理解为 多元N次方程组，数据多了，靠拼凑。升维以解决高拟合。

#偏差与方差

偏差：模型的预测值与实际值的差距；

方差：模型在训练过程中预测值的波动情况。

以多项式回归模型为例

参数或者线性的算法一般是高偏差低方差；非参数或者非线性的算法一般是低偏差高方差。

（未想明白）

#正则

模型误差 = 偏差 + 方差 + 不可避免的误差

机器学习中最重要的是解决过拟合的问题，即降低模型的方差。

方法：

·降低模型复杂度

· 减少数据维度，降噪

· 增加样本数

· 使用验证集

· 正则化

### L1正则化

L1正则化就是在损失函数后边所加正则项为L1范数，加上L1范数容易得到稀疏解（增加辅助“参数”）

L2正则化就是损失后边所加正则项为L2范数，加上L2正则相比于L1正则来说，得到的解比较平滑（不是稀疏），但是同样能够保证解中接近于0（但不是等于0，所以相对平滑）的维度比较多，降低模型的复杂度。 （增加的“参数”相对平滑）

（未弄明白）