

[高方差] 采集更多的样本数据
[高方差] 减少特征数量,去除非主要的特征
[高偏差] 引入更多的相关特征
[高偏差] 采用多项式特征
[高偏差] 减小正则化参数 λ
[高方差] 增加正则化参数 λ
训练集 和 交叉验证集 的 误差 曲线来直观地理解 高偏差 与 高方差 的意义
多项式回归,当次数选取较低时,我们的 训练集误差 和 交叉验证集误差 都会很大;当次数选择刚好时,训练集误差 和 交叉验证集误差 都很小;当次数过大时会产生过拟合,虽然 训练集误差 很小,但 交叉验证集误差 会很大

所以我们可以计算 Jtrain(θ)Jtrain(θ) 和 Jcv(θ)Jcv(θ),如果他们同时很大的话,就是遇到了高偏差问题,而 Jcv(θ)Jcv(θ) 比 Jtrain(θ)Jtrain(θ) 大很多的话,则是遇到了高方差问题。
对于 正则化 参数,使用同样的分析方法,当参数比较小时容易产生过拟合现象,也就是高方差问题。而参数比较大时容易产生欠拟合现象,也就是高偏差问题。


所以我们可以计算 Jtrain(θ)Jtrain(θ) 和 Jcv(θ)Jcv(θ),如果他们同时很大的话,就是遇到了高偏差问题,而 Jcv(θ)Jcv(θ) 比 Jtrain(θ)Jtrain(θ) 大很多的话,则是遇到了高方差问题。
对于 正则化 参数,使用同样的分析方法,当参数比较小时容易产生过拟合现象,也就是高方差问题。而参数比较大时容易产生欠拟合现象,也就是高偏差问题。

学习曲线 都是一个十分直观有效的工具。学习曲线 的横轴是样本数,纵轴为 训练集 和 交叉验证集 的 误差。所以在一开始,由于样本数很少,Jtrain(θ)Jtrain(θ) 几乎没有,而 Jcv(θ)Jcv(θ) 则非常大。随着样本数的增加,Jtrain(θ)Jtrain(θ) 不断增大,而 Jcv(θ)Jcv(θ) 因为训练数据增加而拟合得更好因此下降。所以 学习曲线 看上去如下图:

高偏差:

高方差:



网友评论