在数学、统计学和计算机科学中，尤其是在机器学习领域，正则化（Regularization）是为了解决ill-posed 问题，或者是阻止过拟合而引入额外信息的过程。
ill-posed 问题，简单来说误差会带来极大扰动的问题，或者问题的解不存在，或不唯一。
ill-posed 对应的是well-posed, well-posed是指问题的解，存在、唯一以及稳定。稳定的意思是：输入端有一个小量的扰动，输出端也只有一个小量的扰动。
在正则化的过程中，我们将保留所有的特征变量，但是会减小特征变量的数量级。为了达到此目的，引入一个参数λ ，这里，把λ 称做正则化参数。λ 要做的就是控制在两个不同的目标中的平衡关系。
第一个目标就是我们想要训练，使假设更好地拟合训练数据。我们希望假设能够很好的适应训练集。
第二个目标是我们想要保持参数值较小。（通过正则化项）
λ 这个正则化参数需要控制的是这两者之间的平衡，即平衡拟合训练的目标和保持参数值较小的目标。从而来保持假设的形式相对简单，来避免过度的拟合
λ 引入后，经过推导，相当于给矩阵W乘以了(1-a(λ /m))系数，该系数小于1，具有衰减权重的效果，所以L2范数正则化，又叫“权重衰减”。
权重的值越小，通常对应于越光滑的函数，也就是更加简单的函数。因此 就不易发生过拟合的问题
强调一下：只有亲自实现了正则化，才能够对这种影响的有最直观的感受
参考文献：Andrew Ng 《Regularization》
网友评论