lasso是很基本的sparse的model，虽然曾经看过很多的sparse文章，但仔细想想自己竟然一直没有去注意为什么lasso可以sparse，可以做参数选择，后来在PRML中找到了一张示意图
简单解释一下图的意思，蓝色的是cost function, 越外圈越大，黄色的是p-norm，分别是2-norm和1-norm的regularizer的情况，同样也是越外圈越大。优化问题的解在这个平面上，它一定是在cost function的某个圈上，也一定在p-norm的某个圈上（分别代表了w等于最优解的时候，cost function和p-norm项的大小）。但是对于1-norm，只要cost function的圈与坐标轴相交，这个最优解就一定在坐标轴上，而在坐标轴上就意味着有些参数等于0.相反，2-norm就不能做到这一段，在cost-function与坐标轴相交的时候，最优解是不在坐标轴上面的，也就是说此时最优解的所有参数都不为0。
这也就可以解释，为什么说lasso可以使得有些参数等于0，而2-norm只能使得大家尽量趋近于0.这其实是由它们的区域范围形状所决定的。
Lasso Lasso Lasso again!!!现在我是明白了，巴柔这东西就是多上课，多去训练. 我们馆已经教...
LASSO ref:http://statweb.stanford.edu/~tibs/lasso.htmlhtt...
R实战 | Lasso回归模型建立及变量筛选 Tibshirani(1996) 引入了 LASSO (Least ...
本主题主要说明LASSO回归，LASSO回归与Ridge回归一样，都是属于广义线性回归的一种。LASSO回归与Ri...
介绍 clustlasso是结合lasso和cluster-lasso策略的R包，并发表在Interpreting...
lasso是很基本的sparse的model，虽然曾经看过很多的sparse文章，但仔细想想自己竟然一直没有去注意...
Lasso 在岭回归中，是对w的2范数做约束，就是把约束条件...
ElasticNet回归与岭回归、Lasso回归ElasticNet回归也叫弹性网络回归，是岭回归和Lasso回归...
lm()即linear model线性模型函数，用来建立OLS回归模型 OLS线性回归 LASSO回归 LASSO...
What is regularization? The differences between Lasso vs ...
本文标题：LASSO
本文链接：https://www.haomeiwen.com/subject/uojdjttx.html
网友评论