LASSO
ref:http://statweb.stanford.edu/~tibs/lasso.html
https://wenku.baidu.com/view/e64005ab9b6648d7c0c7465a.html
The Lasso is a shrinkage and selection method for linear regression. It minimizes the usual sum of squared errors, with a bound on the sum of the absolute values of the coefficients. It has connections to soft-thresholding of wavelet coefficients, forward stagewise regression, and boosting methods.
用来选择变量，使用模型系数的绝对值函数作为惩罚策略来压缩模型系数，使一些与y的效应非常弱的回归系数变小，甚至直接变为零，因此LASSO可以提供一个稀疏解。
基于LASSO的优化算法：松弛LASSO，弹性网
LASSO传统缺点：只将一组相关变量的一个最重要的选入。即选入的变量都不具有共线性。
弹性网 Elastic Net：高维度小样本，一组相关变量可以多个选入。
Group LASSO：要求分类变量同进同出。
网友评论