线性回归

OLS、Ridge、Lasso的优缺点对比：
OLS 最小二乘法：优点：计算方便（套入公式即可） 缺点：数据维度越高，参数值越大、更容易过拟合，且计算过程涉及矩阵求逆操作，计算量更大
Ridge 岭回归：优点：通过调整L2惩罚因子，防止维度变高时参数过大问题 缺点：参数不能为0，即无用参数不能被削减
Lasso 回归：优点：通过调整L1惩罚因子，可以使得数据的无用维度对应参数为0，起到降低数据维度的作用

线性回归的三种方法的目标都是通过调整损失函数，来实现拟合真值的目的。其中OLS方法优化目标为均方误差最小化，Ridge 回归在OLS基础上加入了L2正则化项，Lasso 回归在OLS基础上加入了L1正则化项

线性回归模型定义如下： OLS优化目标如下： Ridge 回归优化目标如下： Lasso 回归优化目标如下：

引用

1.从机器学习到深度学习：基于scikit-learn与tensorflow的高效开发实战