机器学习中的方差和偏差

在机器学习中，我们经常会见到方差和偏差，这是什么东西呢？我来解释下。

Bias：反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度，即算法本身的拟合能力。简言之，就是反映算法模型的精准度。

Variance：反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。反应预测的波动情况。简言之，就是反映算法模型的稳定性。

可以看到，上面有三张图：

High bias: 高偏差，分类器（就是那根直线）过于简单，不能够很好的将×和○有效的分离。

Just right: 正好，分类器（就是那个圆线），将×和○有效的分离

High Variance：高偏差，分类器（就是那根折线），过于复杂。如果进来测试数据时，分类效果不是很好。

盗用别人的一张图.

我们举个例子，就是拿手枪向靶子上射击。

如果我们击中靶心的点，相对集中，但是偏离了靶心，我们就称之为：High Bias

如果我们击中靶心的点，相对分散，我们就称之为 High Variance.

当然，我们不可能绝对降低偏差和方差。我们只能在偏差和方差中取到适合的点。就如第二个图表示的，最优化模型分界线。

High Bias会引起我们的算法Underfiting（欠拟合）.

High Variance会引起我们的算法Overfiting（过度拟合）

我们最终的目的时通过正则化等手段，找到Low Bias 和 Low Variance。

希望深入了解的童鞋，可以参考：

http://scott.fortmann-roe.com/docs/BiasVariance.html

---

名词解释：

Underfiting（欠拟合）：

Overfiting（过度拟合）：