L1正则：绝对值，Lasso回归
L2正则：平方，岭回归

差别

主要差别：

• L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型（部分参数为0），可以用于特征选择
• L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

image

1. 参数角度

L1

image.png

当w大于0时，更新的参数w变小；当w小于0时，更新的参数w变大；所以，L1正则化容易使参数变为0，即特征稀疏化。

L2

image.png

当w趋向于0时，参数减小的非常缓慢，因此L2正则化使参数减小到很小的范围，但不为0。

2. 先验概率分布

当先验分布是拉普拉斯分布时，正则化项为L1范数
当先验分布是高斯分布时，正则化项为L2范数。

拉普拉斯分布本身是稀疏的，值只在很小的范围内的概率比较大：

image.png

3. 几何角度

参考西瓜书P253

image.png

损失函数的解要出现在L1/L2范数等值线和平方误差项等值线交点处，L1范数倾向于相交在坐标轴上，L2范数倾向于相交在象限内——L1部分参数为0，更稀疏

自己写给自己看的博客
文章内容不保证正确
部分内容来源于网络，侵删
今天也是元气满满的一天哦~~
冲鸭~~QWQ