本文为初学者个人理解，既不规范也不全面，还有可能理解有误，慎入。
Ridge Regression（称岭回归或脊回归）、Lasso Regression和Elastic Net Regression是结构风险最小化方法。
所谓结构风险最小化，即李航《统计学习方法》中所讲到的，在经验风险（经验损失）最小化的基础上加上一个正则项或惩罚项。
结构风险定义
经验损失：可以理解为最小化损失函数，损失函数形式可为多种形式，如线性回归中常用的BLUE最小二乘法，0-1损失函数，对数损失函数等。（加号左边部分）
损失函数是误分类点的总和，用来评估预测值与真实值的差值，是一个非负函数。（非负是指每一项的值都是非负的，为了避免项与项之间抵消，比方用损失函数计算的项1误分类点距真实值差1，项2误分类点距真实值差-1，最后加总得0，误以为全部分类正确）
正则化（惩罚项）：为了防止过拟合提出的。其中λ>0（加号右边部分）
注：线性回归中，当样本数量为n，特征数量为p时
n>=p时，最小二乘法误差较小； n <= p 时，可能会产生过拟合。
【从线性代数角度理解，结构风险公式中，单看经验损失函数（加号左边一项），f(x,theta)是由若干个x和系数theta组成的函数，可以看做X矩阵与theta向量相乘。
对左边一项求最小值，相当于对其函数矩阵求导，使导数=0，可以求出theta值。
由于矩阵运算中，矩阵除法要求矩阵需满足可逆，故损失函数（加号左边一项）未必满足可逆矩阵的条件。有可能经过矩阵运算后得到非满秩矩阵（不可逆），此时，需要对其补充一个可逆矩阵才可以求值，即加入了惩罚项。】
正则化方法主要是加上一个范数项
【赋范空间与度量空间不同的是赋范空间没有角度，只有长度，相对应的就是著名的欧式距离和曼哈顿距离】
对于加上的范数项的不同分为：
加上L1范数 形成Lasso Regression
加上L2范数 形成Ridge Regression
加上L1+L2范数 形成Elastic Regression
对于L1范数，可以简单理解为向量中所有元素的绝对值之和（曼哈顿距离）；L2范数为向量所有元素的平方和的开平方（欧式距离）
距离举例
如上图，曼哈顿距离指的是从天安门到灯市口坐车可到距离（不止这一条路径，各种步行可走的路线都算是曼哈顿距离），欧式距离指的是两点间直线距离。
L1、L2范数都有利于降低过拟合风险，L1范数比L2范数更容易获得稀疏解，即求出的w的非零向量更少（在实际应用中可以减少无用特征列，可以降维）
包含L1范数的Lasso公式
包含L2范数的Ridge公式
Elastic Net是损失函数一致（加号左边），加号右边为L1+L2。
L1范数是矩阵中所有数的绝对值之和。
L1范数在0点不可导，但不知道为什么不可导会导致稀疏，网上找到的解释是“任何的规则化算子，如果他在Wi=0的地方不可微，并且可以分解为一个“求和”的形式，那么这个规则化算子就可以实现稀疏”。
看了很多版本解释，最为清晰的是西瓜书上给出的解释方法。
根据周志华《机器学习》中的解释：
二维空间下正则化解
由于L1范数是绝对值之和，在二维空间下为方形，与平方误差项的切点会时常切在w1或w2轴上，所以时常会得到0解，L2范数是平方项，在二维空间下为圆形，所以相比于方形不时常切在轴上，w1、w2不常取0，即L2相比于L1更不容易得到稀疏解。
待续。。。
网友评论