偏差和方差

1、在进行模型选择和评估时，我们经常会关注偏差和方差，那么什么是偏差？什么是方差？

偏差：描述的是预测值的期望与真实值之间的差距。偏差越大，越偏离真实数据。偏差也叫拟合能力。
方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散。度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动造成的影响。

由下图可以看出来，偏差大就是与真实值的差距大，高方差跟真实值没什么关系，只是预测值是否密集在一起，如果分散，就是方差大。

注意：

Bias：误差，拟合出来的对象是单个模型，期望输出与真实标记的差别

Variance：方差，拟合对象是多个模型，从同一个数据集中，用科学的采样方法得到几个不同的子训练集，用这些训练集训练得到的模型往往并不相同。蓝色和绿色分别是同一个训练集上采样得到的两个训练子集，由于采取了复杂的算法去拟合，两个模型差异很大。如果是拿直线拟合的话，显然差异不会这么大。

Paste_Image.png

2、方差与偏差trade-off

当模型复杂度逐渐增强的时候，偏差是逐渐减小的，方差逐渐增大，它们中间有一个交点，就是两者达到平衡，在适当的模型复杂度下，对训练数据有一个良好的拟合，而且泛化性能也不差。

2、对于高偏差和高方差的情况应该如何处理？

下图是NG机器学习课的一个截图：

解释：
（1）增加训练样本可以减小方差，以为随着样本量的增加，泛化性能会好一些，验证损失会Jcv逐渐减小，所以会减小方差
（2）取少量的特征，可以有效的防止过拟合，提高泛化性能，会减小方差。
（3）取更多的特征，能从更多的角度学习数据的分布，减小训练loss，会减小偏差。
（4）增加多项式特征，增加了模型的复杂度，可以降低偏差。
（5）减小lambda：就是削弱正则的作用，增加模型复杂度，减小偏差
（6）增大lambda：增强正则的作用，对参数进行有效控制，防止过拟合，减小方差。

注意：
这里应该学会的是，对症下药，我们通过观察学习曲线，可以知道是偏差大了还是方差大了，从而进行解决方案的选取。选取不当的话，不会产生任何优化，比如说：如果偏差较大的话，增加训练样本的个数是没用的，必须采取其他有效的方法，可以增加特征，增加多项式，减小lambda等。

参考文章
http://www.cnblogs.com/zhizhan/p/5002455.html
https://www.zhihu.com/question/20448464