美文网首页
What’s the difference between Li

What’s the difference between Li

作者: Rain师兄 | 来源:发表于2022-04-11 11:53 被阅读0次

Lasso, Ridge and ElasticNet.
The main difference among them is whether the model is penalized for its weights

(regularization (penalty on weights)

Linear regression:有时导致过拟合。这个模型没有对权重进行惩罚,所以模型对权重的选择没什么限制,既然没限制, 万一模型认为一个特征特别重要,就会给一个很大的权重,这会导致过拟合。

Lasso:加了一个惩罚,也就是对权重做了限制。
作用是,权重的绝对值会变小,许多权重讲变为0.

这里多了一个alpha超参数。

Ridge:这个也加了限制,和lasso差不多,损失函数变了一下。这个不止让权重变小,而且让他们,分布更加均匀。

ElasticNet:is a hybrid of Lasso and Ridge。是前两个的结合。

相关文章

网友评论

      本文标题:What’s the difference between Li

      本文链接:https://www.haomeiwen.com/subject/hqjisrtx.html