针对拟合函数，通常会有三种状况，分别是欠拟合，正常和过度拟合
左：欠拟合 中：正常 右：过度拟合
欠拟合是指假设函数对于样本集本身就拟合结果不佳，很容易直观看出来
而过度拟合是指假设函数为了完美的拟合样本集，引入了过多的高次项，虽然对于样本的拟合十分良好，但是与实际情况完全偏离
针对过度拟合，解决方案有几种：
1、减少特征项的个数：
·通过人工挑选特征
·使用模型选择算法
2、正则化（Regularization）
·留住所有的特征项，不过减小θj的大小
·对于有大量有微小影响的特征项的情况十分有效
正则化（Regularization）：
对于假设方程，我们都是求代价函数（cost function）的最小值来达到最佳拟合，然而这无法避免过度拟合，所以我们将代价函数进行修改：
新的代价函数
其中λ是正则化参数
线性回归和逻辑回归：
因为我们的代价函数已经发生了变换，所以针对线性回归和逻辑回归的求值过程也会有所改变：
j=1,2,3...n
因为线性回归和逻辑回归仅仅是hθ(x)有所不同，可以通用，不过此处针对θ0则需单独处理，因为之前正则化时是从θ1开始而不是θ0
正规方程（Normal Equation）：
在之前讲正规方程时，曾经提到XT·X的逆矩阵有可能不存在，其中一个原因是特征过剩，特征n的个数比训练集m的个数还多，而正则化可以解决这个问题：
新的正规方程
因为引入了正则化，所以我们的正规方程也有所变化，变为如上图，此时括号内的矩阵行列式不为0（还没证出来），所以正则化可以解决此问题
网友评论