欠拟合和过拟合

一图胜千言，直接上图：

欠拟合和过拟合

我们用3个模型拟合了这个训练集的样本。训练数据是通过随机抽取x然后用二次函数确定性地生成y来合成的。左图用一个线性函数拟合数据会导致欠拟合（模型在训练集上的表现就不好）-- 它无法捕捉数据中的曲率信息。中图用二次函数拟合数据在未观察到的点上泛化得很好，这不会导致明显的欠拟合或者过拟合。（右）一个9阶的多项式拟合数据会导致过拟合。在两个数据点之间它有一个真实的函数所不包含的深谷。

解决欠拟合和过拟合问题的方法就是调整模型的容量，模型的容量是指其拟合各种函数的能力。容量低的模型可能很难拟合训练集。容量高的模型可能会过拟合，因为记住了不适用于测试集的训练集性质。

上面三个图从左到右依次用了一次多项式、二次多项式和九次多项式，容量依次增大。 欠拟合和过拟合

可以看出容量并不是越大越好，有一个最优容量，在最优容量的左边是欠拟合，在最优容量的右边是过拟合。