线性回归

线性模型：对于每个i有：

排成一个矩阵的形式:

其中 

直接解就得到：

=====

这里有几个问题：1，不可逆的话就只能取广义逆

                             2，如果不可逆，那么求出来的w还是无偏估计，但是会有大的方差（这样的话有时候估计出来的w就会很大。）

                             3，X有共线性的时候，也是不可逆

=====

解决方案：考虑加入显示正则项：

R的选择是两方面决定的：1，本身参数应该有的统计特征。

                                           2，应当减少参数的复杂度。

=====

岭回归：可以有闭合解。小方差估计，但是有偏差。

=====

LASSO：可以有稀疏解，但是不闭合。是一个很好的变量选择的方法。一般在d远大于n的时候很好用。这时候最多选择出n个非零的元。

用ISTA解决LASSO：通常我们的梯度下降公式可以用下面的方法得到:

如果我们把上面的式子写的更加一般：

那么就相当于是把原来的要优化的f+g函数，的f在xt二次展开了，二次用一个东西近似。

在LASSO中我们让

=====

为什么LASSO更容易得到稀疏解：

看这张图。norm边界和等高线的交点应该是最优解，在二维中尚看不清楚，但是在多维中，l1的边界，是很多角的，所以等高线会先碰到角上。这也就是为什么会有稀疏解。

=====

正则化路迹（lambda逐渐增大，估算的参数结果）可以检查共线性程度（岭回归），如果很接近0且稳定，或者震荡着趋于0，这样的特征可以去掉。

LASSO和岭回归的分别：

左边是LASSO，可以看到虽然两张图。随着lambda变大，这些回归系数都趋近0.但是趋近于0的速度不同（LASSO),所以LASSO可以用来变量选择。

=====

两个变种:

弹性LASSO

LASSO的缺点就是，有时候两个特征都很重要，但是因为相关性强烈，就被LASSO剔除了其中一个。而我们希望都能保留：

Group LASSO

有时候变量是一组一组的，一组一组地保留或者丢弃。