
输入:分类训练数据集

输出:最终的分类器G(X)
(1)初始化权值分布

(2)对m个弱分类器m=1,2,...m
a在权值Dm的分布下训练数据集,得到弱分类器,Gm(x):X→{-1,+1}
b.计算Gm的训练误差

c.计算Gm的系数

d.更新训练数据集的权值分布:

(3)构建弱分类器组合

最终分类器:

提升树模型
分类问题决策树是二叉分类树
回归问题决策树是回归树
决策树桩:

前向分布算法:
确定初始提升树,f0(x)=0
第m步的模型:

通过经验风险极小化确定下一棵树的参数:

梯度提升算法
网友评论