2018-12-27

获得更多训练示例：修复高方差

尝试较小的特征集：修复高方差

添加特征：修复高偏差

添加多项式特征：修复高偏差

减少λ：修复高偏差

增加λ：修正高方差。

诊断神经网络

1.具有较少参数的神经网络易于欠拟合。 它的计算成本也更低。

2.具有更多参数的大型神经网络易于过度拟合。 它的计算成本也很高。 在这种情况下，您可以使用正则化（增加λ）来解决过度拟合问题。

使用单个隐藏层是一个很好的启动默认值。 您可以使用交叉验证集在多个隐藏层上训练您的神经网络。 然后，您可以选择性能最佳的那个。

神经网络过拟合

模型复杂性效应：

1.低阶多项式（低模型复杂度）具有高偏差和低方差。 在这种情况下，模型非常一致。

2.高阶多项式（高模型复杂度）非常适合训练数据，测试数据非常差。 这些对训练数据的偏差很小，但方差很大。

实际上，我们希望选择介于两者之间的模型，这可以很好地推广，但也能很好地拟合数据。