过拟合问题

下面三幅图显示了对同一组数据取不同的特征值进行拟合的结果。

拟合程度

• 左边的是欠拟合。数据并不能十分恰当的落在直线上。
• 中间的是合理状态。数据基本落在了求出的直线上。
• 右边的是过拟合。 数据完美的落在了描绘的曲线上，这样会导致拟合出来的曲线不能泛化到需要预测的问题中，从而导致误差。

拟合问题是线性回归和逻辑回归中都存在的问题。下面是两种常见的解决方法:

1. 减少特征数量:

• 手动选择特征的去留。
• 使用模型选择算法。

2. 正则化 Regularization

• 保留所有特征，但是减少某一个参数θ_j的重要性。
• 当有许多有用的特征时，正规化将会非常有用。

1.正规化代价方程

比如我们有如下的参数，进行梯度下降的时候，发现了过拟合。

并不采取消除高次项的措施，而是将代价函数作如下修改。

在需要降低重要性的参数前，加上一个较大值。

也可以对所有的参数都进行正则化。

选取过大的λ会使得曲线过于光滑导致欠拟合，一般都可以先将λ参数选在1000左右。

原代价函数 正则化后的代价函数

2.正则化的梯度下降

同样对上述代价函数进行梯度下降，公式如下所示。

通常不对x₀进行正则化

3.正规方程 Normal Equaltion

L就是将常数λ矩阵化，也就是除了x₀外的单位矩阵
必须保证训练集数m>=参数数n，否则X^TX不可逆，即X^TX + λ⋅L 不可逆。