Bias-Variance Decomposition

Bias-Variance Decomposition 是机器学习中一个很重要的分析工具， 它可以指导开发者如何继续优化模型。 这个分析方法认为： 对于一个特定的机器学习任务， 某个具体模型的error 由3部分构成: noise, bias 和 variance.

Noise

Noise 指的是给定数据中固有的error ，这部分error 是系统内在不可避免的错误。 比如输入错误， 打错标签， 人工失误等等。 Noise 决定了机器学习模型的能力上限。

Bias

Bias 指的是某个模型的性能距离 Noise 给出的性能极限的差距。 比如 Noise error是 1%， 某个模型的 error 是5%， 那么Bias 就是4%。

Variance

Variance 指的是某个模型， 在不同的数据上性能表现的起伏。

High Bias vs High Variance

我们经常听说 High Bias 和 High Variance， 这分别指的是机器学习模型的2种问题。

High Bias： 指模型在 Training Data 上的错误过高。

High Variance： 模型在不同数据（训练数据，测试数据） 上波动过大， 一般就是指过拟合的情况，