关于正则化的理解

什么是正则化？为什么要正则化？怎样正则化？

对正则化化一直不是十分理解，只知道正则化可以防止过拟合。为什么给loss增加一个正则化就可以防止过拟合，说说我自己的理解。

当针对一个实际问题完成机器学习模型的建立后，需要求解模型的参数。由于复杂模型的参数没有解析解，所以建立一个损失函数，通过最大似然估计等方法求解损失函数为最小值时的模型参数。模型越复杂（非线性相关的向量越多），越可以表达原始数据的更多特征。当学习过多训练集特有特征时，模型就会出现过拟合现象（对测试数据的共有特征不敏感）。由于原始数据固有特征无法改变，所以可以通过损失函数来限制待求解的模型参数（减小非线性相关向量的数量），来减小模型可以学习特征的数量。为损失函数增加正则化，可以在一定程度上减小非线性相关向量的数量。

为什么增加正则化可以减小非线性相关向量的数量呢？因为增加一个正则化后，目标函数变为损失函数和正则化的和。求目标函数为最小值时的模型参数，通常在损失函数和正则化的相交线上。这个相交线对损失函数的非线性相关的向量起到一个限制作用，使非线性相关向量的数量减少。