美文网首页
从机器学习到深度学习(一)线性回归

从机器学习到深度学习(一)线性回归

作者: 微澜55 | 来源:发表于2020-03-25 16:16 被阅读0次

线性回归

OLS、Ridge、Lasso的优缺点对比
OLS 最小二乘法:优点:计算方便(套入公式即可) 缺点:数据维度越高,参数值越大、更容易过拟合,且计算过程涉及矩阵求逆操作,计算量更大
Ridge 岭回归:优点:通过调整L2惩罚因子,防止维度变高时参数过大问题 缺点:参数不能为0,即无用参数不能被削减
Lasso 回归:优点:通过调整L1惩罚因子,可以使得数据的无用维度对应参数为0,起到降低数据维度的作用

线性回归的三种方法的目标都是通过调整损失函数,来实现拟合真值的目的。其中OLS方法优化目标为均方误差最小化,Ridge 回归在OLS基础上加入了L2正则化项,Lasso 回归在OLS基础上加入了L1正则化项

线性回归模型定义如下: OLS优化目标如下: Ridge 回归优化目标如下: Lasso 回归优化目标如下:

引用

1.从机器学习到深度学习:基于scikit-learn与tensorflow的高效开发实战

相关文章

网友评论

      本文标题:从机器学习到深度学习(一)线性回归

      本文链接:https://www.haomeiwen.com/subject/acooyhtx.html