GBDT (Gradient Boosting Decision Tree) 梯度提升迭代决策树。GBDT 也是 Boosting 算法的一种，但是和 AdaBoost 算法不同（AdaBoost 算法上一篇文章已经介绍）；区别如下：AdaBoost 算法是利用前一轮的弱学习器的误差来更新样本权重值，然后一轮一轮的迭代；GBDT 也是迭代，但是 GBDT 要求弱学习器必须是 CART 模型，而且 GBDT 在模型训练的时候，是要求模型预测的样本损失尽可能的小。
GBDT 直观理解：每一轮预测和实际值有残差，下一轮根据残差再进行预测，最后将所有预测相加，就是结果。
GBDT 模型可以表示为决策树的加法模型：
其中，T（x；θm）表示决策树；θm 为决策树的参数； M为树的个数。
采用前向分布算法， 首先确定初始提升树 fo（x） = 0， 第 m 步的模型是：
通过经验风险极小化确定下一棵树的参数：（其实就是让残差尽可能的小找到最优划分点）
这里的 L() 是损失函数,回归算法选择的损失函数一般是均方差(最小二乘)或者绝对值误差;而在分类算法中一般的损失函数选择对数函数来表示
GBDT 既可以做回归也可以做分类，下面先描述一下做回归的算法流程：
已知一个训练数据集 T = {(x1,y1),(x2,y2),...,(xn,yn)}, 如果将训练集分为不同的区域 R1,R2,...,Rn,然后可以确定每个区域输出的常识 c，c 的计算是将每个区域的 y 值相加再除以 y 的个数，其实就是求一个平均值。树可以表示为：
然后通过下图方式来确定具体分割点：
我将李航的统计学方法里面的例子粘出来，就知道提升树是如何计算的了：
以上就是 GBDT 选择分割点的过程， 如果特征有多个的话也是一样的道理，选择特征和特征值使得误差最小的点，作为分割点。所以其实 GBDT 也可以用作特征选择，通过GBDT 可以将重要的特征选择出来，当特征非常多的时候可以用来做降维。然后再融合类似逻辑回归这样的模型再进行训练。
网友评论