大家早安、午安、晚安，今天接着学习机器学习算法啦，上一篇介绍了提升算法(Boosting)算法，特别着重介绍了AdaBoost算法的核心原理，并且基于Python编程实现。
就像重大决策时会听取不同专家的意见，而不是只考虑一个人的建议，在机器学习算法中，由于很多方法各有千秋，因此可以将不同的分类器组合起来，而这种组合结果则被称为集成方法(ensemble method)或者元算法(meta-algorithm)。部分集成方式如下：
1）bagging：基于数据随机重抽样的分类器构建方法
自举汇聚法(bootstrap aggregating)，也称为bagging方法，是在从原始数据集选择S次后得到S个新数据集的一种技术。新数据集和原数据集的大小相等。每个数据集都是通过在原始数据集中随机选择一个样本来进行替换而得到的。这里的替换就意味着可以多次地选择同一样本。这一性质就允许新数据集中可以有重复的值，而原始数据集的某些值在新集合在则不再出现。在S个数据集建好之后，将某个学习算法分别作用于每个数据集就得到了S个分类器。当我要对新数据进行分类时，就可以应用这S个分类器进行分类。与此同时，选择分类器投票中最多的类别作为最后的分类结果。具体包括随机森林等。
2）boosting：提升方法
boosting方法和bagging方法很类似，也是一种集成方法，它们所使用的多个分类器的类型都是一致的。不同的是，在bagging方法中，不同的分类器是通过串行训练而获得的，每个新分类器都根据已训练出的分类器的性能进行训练，且每一个分类器权重是相等的。而boosting是通过集中关注被已有分类器错分的那些数据来获得新的分类器，也就是boosting分类的结果是基于所有分类器的加权求和的结果，每一个分类器的权重并不相等，每个权重代表的是其对应分类器在上一轮迭代中的成功度。具体的实现方法有AdaBoostde等。
在scikit-learn的内容中，关于分类器的集成方法(Ensemble methods)主要是在Ensemble methods中。它包括了：averaging methods(表示每个基分类器的权重是一样的)，包括：Bagging methods、Forests of randomized trees；boosting methods(表示每个基分类器的权重是不一样的，不断训练弱分类器来获得强分类器)，包括：Adaboost、Gradient Tree Boosting等。
本篇主要是讲sklearn中，实现Adaboost算法的AdaBoostClassifier模块
1、AdaBoostClassifier模型参数
class sklearn.ensemble.AdaBoostClassifier(base_estimator=None, n_estimators=50, learning_rate=1.0, algorithm='SAMME.R', random_state=None)
1）base_estimator : object, optional (default=DecisionTreeClassifier)
2）algorithm : {‘SAMME’, ‘SAMME.R’}, optional (default=’SAMME.R’)
此处要着重说明一下，SAMME(discrete SAMME)表示使用的方法是Discrete AdaBoost，见图1所示：
图1 Discrete AdaBoost
不难发现，这个算法与上一篇介绍的AdaBoost方法最主要的不同是a_m的常数项系数；
SAMME.R表示使用的方法是‘Real AdaBoost’，表示返回值不是离散的类型，而是一个实数值，来表示这样预测的可信度（一个概率数值）
图2 Real AdaBoost
在AdaBoost模型中，有一个栗子对比了以下算法的错误率：基于单层决策树的AdaBoost算法（上一篇中提到了）、基于多层决策树的AdaBoost算法、Discrete AdaBoost算法和Real AdaBoost，他们的区别主要是在求解错误率的方式上。主要代码以及效果图如下：
图3
图4
从图4中不难发现，上一篇中提到的基于单层决策树的Adaboost的错误率很高，好吧，没有对比就没有伤害~~
再看一个sklearn中，adaboost的小栗子啦
1）准备数据
图5
2）将训练集中的数据最终的分类通过颜色表示出来
图6
3）绘制决策分类的柱形图
图7
4）效果图
图8
好哒，初学阶段，随机决策森林等内容就不涉及啦，以后继续深入，明天继续学习~~
网友评论