Boosting思想
GBDT是对于基函数进行权值的提升
Boosting的思想是对样本进行权值的赋予，对于每次分错类的权值增大，分对类的权值降低
举例adaboost（如何对样本和分类器的权值进行调整？）
使用具有权值的分布Dm的训练数据集学习，得到基本分类器
计算Gm(x)在训练数据集上的分类误差率：
计算Gm（x）的系数
表示当前分类器Gm的权值
构建基本分类器的线性组合
得到最终分类器
alpham不仅可以用在分类器上，也可以用在样本上
更新训练数据集的权值分布
其中yi表示1或-1,Zm是规范因子
它的目的是让Dm+1成为一个概率分布
Adaboost算法解释
Adaboost算法是模型为加法模型，损失函数为指数函数，学习方法为前向分布算法时的二分类学习算法
权值和错误率的关键解释
事实上，根据AdaBoost的构造过程，权值的调整公式为
二者相除，得到
从而
Adaboost算法可以看作是采用指数损失函数的提升方法，其每个基函数的学习为前向分步算法
Adaboost的训练误差是指数下降的
Adaboost算法不需要事先知道下界gamma，具有自适应性，它能自适应弱分类器的训练误差。
之所以我们重视adaboost和随机森林是因为它们好调参，使用上没有那么多门槛
网友评论