方差bias与偏差variance--过拟合欠拟合

E{1/m(x1+x2+...+xn)] = E(X)

var{1/m(x1+x2+...+xn)} = 1/mVar(X)

如果均值为E(x)，方差过大说明欠拟合，只要做无数次，能保证均值（无偏），方差减小

总结

低Bias表示离圆心近

高Bias表示里圆心远

高var表示学习结果分散

低var表示学习结果集中

Bias越低模型越复杂，可以理解为在训练集上的表现与训练值很接近，容易过拟合

variance是在测试集上的表现反之要提高泛化能力，就要降低variance，这样模型就会简单，容易欠拟合

因此，我们想要找到低bias（可以想成是残差很小）和高variance（稳定，泛化能力高）的交叉点就是总误差最小

Bagging能够减少训练方差（variance），对于不剪枝的决策树、神经网络学习器有良好的集成效果，增加稳定性

Boosting能减少偏差（Bias），能够基于泛化能力较弱的学习器构造强学习器，提高正确率

---原因

1. 变量少

2. 特征多

3. 函数过于复杂

处理方法：

1. 降维

2.正则化

除了GBDT中使用关于分类器的一阶导数进行学习之外，也可以借鉴（逆）牛顿的思路使用二阶导数学习弱分类器，比如XGboost