过拟合(over-fitting)

过拟合：过于强调拟合原始数据，而丢失了算法的本质：预测新数据。

欠拟合 恰好 过拟合 三者对比

分类问题中也存在类似的问题：

解决办法：

• 丢弃一些不能帮助正确预测的特征
  手工选择保留哪些特征或者使用一些模型选择的算法（例如PCA）
• 正则化(magnitude)
  保留所有的特征，但是减少参数的大小。

调整代价函数

回归模型

正是高次项导致了过拟合的产生。
目标：让高次项系数接近于0。
修改代价函数：

为和设置惩罚

问题：并不知道其中哪些特征需要惩罚
思路：对所有特征进行惩罚，让代价函数最优化的软件来选择这些惩罚的程度。

注：通常不对进行惩罚。

分析：

• 过大，除以外其他所有参数都较小，模型变成，是一条平行于的直线，导致欠拟合。

正则化线性回归

• 梯度下降求解

可以看到，每次除了以外均在原有的算法更新规则的基础上减少了一个额外的值。

• 正规方程求解

正则化的逻辑回归模型

对于逻辑回归，也给代价函数增加一个正则化的表达式，得到：

增加一项

计算过程同上文的线性回归，但是由于模型不同，所以二者有本质不同。

注意：
不参与任何一个正则化。