集成之 AdaBoost算法

Boosting

• 屏幕快照 2018-03-02 下午12.10.47.png

上图（图片来自prml p660）就是一个Boosting的过程，绿色的线表示目前取得的模型（模型是由前m次得到的模型合并得到的），虚线表示当前这次模型。每次分类的时候，会更关注分错的数据，上图中，红色和蓝色的点就是数据，点越大表示权重越高，看看右下角的图片，当m=150的时候，获取的模型已经几乎能够将红色和蓝色的点区分开了。

AdaBoost

在boosting系列算法中， Adaboost是最著名的算法之一。Adaboost既可以用作分类，也可以用作回归。

1361150-3c2936f944241ab5.png

1.首先从训练集用初始权重训练出一个弱学习器1
2.根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱学习器1学习误差率高的训练样本点的权重变高，使得这些误差率高的点在后面的弱学习器2中得到更多的重视。
3.然后基于调整权重后的训练集来训练弱学习器2.
4.如此重复进行，直到弱学习器数达到事先指定的数目T，最终将这T个弱学习器通过集合策略进行整合，得到最终的强学习器。

• Adaboost的分类问题

  
  1361150-2d8a4b0a3baa5e85.png

• Adaboost的回归问题

  
  1361150-39371e008db5b546.png

优点

1）Adaboost作为分类器时，分类精度很高

2）在Adaboost的框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。

3）作为简单的二元分类器时，构造简单，结果可理解。

4）不容易发生过拟合

缺点

1）对异常样本敏感，异常样本在迭代中可能会获得较高的权重，影响最终的强学习器的预测准确性。

机器学习校招笔记3:集成学习之Adaboost
Bagging，AdaBoosting和Gradient boosting