正则化原理(Regularization)

作者: d518a9b6ae51 | 来源:发表于2019-05-26 20:58 被阅读0次

原博客：https://daya-jin.github.io/2018/10/09/Regularization/

正则化

传统学习模型的一般目标函数为：

$\sum\limits_{i}L(y_{i},f(x_{i};w))+\lambda\Omega(w)$

后面的那一项即正则化项，也是本文主要讨论的项，其中 $\lambda$ 为惩罚系数， $\Omega(w)$ ，常用的选择是范数。

$||x||_{p}=(\sum\limits_{i}|x_{i}|^{p})^{\frac{1}{p}}$

L0范数

零范数比较特殊，一个向量的零范数是向量中非零元素的个数：

$||x||_{0}=\sum\limits_{i}|x_{i}|^{0}$

如果使用L0范数当作正则函数的话，那么肯定是希望参数向量 $w$ 中的零元素越多越好。但是因为L0范数是一个计数值，在优化目标时不便运算（如求导），所以一般不选用。

L1范数

$||x||_{1}=\sum\limits_{i}|x_{i}|$

显而易见L1范数为向量中所有值的绝对值之和，是L0范数的最优凸近似，而且比L0范数要容易优化求解，所以一般不使用L0范数，而是使用L1范数来代替它。

使用L1范数作为正则函数时，优化的目标函数变为：

$\sum\limits_{i}L(y_{i},f(x_{i};w))+\lambda||w||_{1}$

这也被称为LASSO (Least Absolute Shrinkage and Selection Operator) ，它能够产生稀疏解。下面来看一个直观的解释，我们需要求的最优解为：

$W=[w_{1}, w_{2},……, w_{n}]=arg\ min(\sum\limits_{i}L(y_{i},f(x_{i};w))) \qquad s.t.||w||_{1}\le{C}$

假设此处用的损失函数为二次函数，那么目标函数的等值线是一个椭圆或圆；而约束条件为L1范数，其等值线为一个菱形。目标函数的等值线与约束边界的图像如下图所示（以二维为例）：

（不支持矢量图，请移步原博客查看）

可以看到，在约束条件下的最优解，总是处于约束条件的角上，而约束条件的角上必定会出现一个或多个 $w_{i}=0$ 的情况，这就导致了解解稀疏性，在更高维的情况下也是如此。

以L1范数为正则项可以用来筛选特征，得出的非零 $w_{i}$ 所对应的特征是关联特征，而那些为零的 $w_{j}$ 对应的特征肯定是弱特征。

L2范数

$||x||_{2}=(\sum\limits_{i}x_{i}^{2})^{\frac{1}{2}}$

L2范数也是应用很广的一种正则化手段，使用L2范数的条件下，目标函数变为：

$\sum\limits_{i}L(y_{i},f(x_{i};w))+\lambda||w||_{2}$

以上问题也被称为Ridge。在讲L2范数的作用之前，先要了解两个概念：病态(ill-conditioned)矩阵与条件数(condition number)。

下面是一个病态矩阵 $Ax=b$ 的求解示例：

$\begin{aligned} \begin{bmatrix} 400 & -201\\ -800 & 401 \end{bmatrix} \begin{bmatrix} w_{1}\\ w_{2} \end{bmatrix} = \begin{bmatrix} 200\\ -200 \end{bmatrix} ,\qquad \begin{bmatrix} w_{1}\\ w_{2} \end{bmatrix} = \begin{bmatrix} -100\\ -200 \end{bmatrix}\\ \begin{bmatrix} 401 & -201\\ -800 & 401 \end{bmatrix} \begin{bmatrix} w_{1}\\ w_{2} \end{bmatrix} = \begin{bmatrix} 200\\ -200 \end{bmatrix} ,\qquad \begin{bmatrix} w_{1}\\ w_{2} \end{bmatrix} = \begin{bmatrix} 40000\\ 79800 \end{bmatrix}\\ \end{aligned}$

病态矩阵列向量之间的线性相关性非常高，在稍微改变一下原数据(400 -> 401)的情况下，得出来的解全然不同，这说明病态矩阵的解对 $A$ 与 $B$ 的系数高度敏感，这明显不是我们想要的结果。因为原始数据和真实数据有一定误差，如果因为这些数据中的误差而导致求出来的解与期望解相差巨大，那么这个解就是无用的。