What’s the difference between Li

Lasso, Ridge and ElasticNet.
The main difference among them is whether the model is penalized for its weights

（regularization (penalty on weights)

Linear regression：有时导致过拟合。这个模型没有对权重进行惩罚，所以模型对权重的选择没什么限制，既然没限制， 万一模型认为一个特征特别重要，就会给一个很大的权重，这会导致过拟合。

Lasso：加了一个惩罚，也就是对权重做了限制。
作用是，权重的绝对值会变小，许多权重讲变为0.

这里多了一个alpha超参数。

Ridge：这个也加了限制，和lasso差不多，损失函数变了一下。这个不止让权重变小，而且让他们，分布更加均匀。

ElasticNet：is a hybrid of Lasso and Ridge。是前两个的结合。