Boost-GBDT

作者: zhouycoriginal | 来源:发表于2020-02-05 16:03 被阅读0次

Boost-GBDT

GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost，我们是利用前一轮迭代弱学习器的误差率来更新训练集的权重，这样一轮轮的迭代下去。GBDT也是迭代，使用了前向分布算法，但是弱学习器限定了只能使用CART回归树模型，同时迭代思路和Adaboost也不同
GBDT在迭代过程中, 假设我们前一轮得到的强学习器是 $f_{t-1}(x)$ ,损失函数是 $L(y,f_{t-1}(x))$ , 那么本轮得到的新的一个学习器 $h_t(x)$ , 让本轮的损失函数 $L(y,f_t(x))=L(y, f_{t-1}(x)+h_t(x))$ , 本轮迭代的决策树, 要使得全局上的损失尽量变小.

GBDT 回归

GBDT的思想可以用一个通俗的例子解释，假如有个人30岁，我们首先用20岁去拟合，发现损失有10岁，这时我们用6岁去拟合剩下的损失，发现差距还有4岁，第三轮我们用3岁拟合剩下的差距，差距就只有一岁了。如果我们的迭代轮数还没有完，可以继续迭代下面，每一轮迭代，拟合的岁数误差都会减小。
本质上, GBDT对于回归类问题, 拟合的是一个残差
GBDT也是一个加法模型, 用的也是前向分步算法:
$f_k(x)=\sum_{k=1}^{K}T(x;\theta_k)$
其中, $\theta_k$ 为决策树的参数, $K$ 为决策树的个数
假设一个训练集
$T=\{(x_1,y_1),(x_2,y_2),...,(x_i,y_i)\}$
我们知道GBDT使用CART作为其弱分类器, 对于回归问题, 输出数据将被划分为 $J$ 个互不相交的区域 $R_1,R_2,...,R_J,$ ,并且在每个区域上都有一个固定的输出常量 $c_j$ , 这个常量前面提到过,可能是一个均值, 那么树可以表示为:
$T(x;\theta)=\sum_{j=1}^{J}c_jI(x\in R)$
在前向分布算法的第 $k$ 步, 给定当前模型 $f_{k-1}(x)$ ,我们需要求解:
$\theta_k=argmin\sum_{i=1}^{m}L(y_i,f_{k-1}(x_i)+T(x_i,\theta_k))$
公式和文章开始部分是一致的, 那么我们得到了第 $k$ 步的树的参数, 那么对于这个损失函数 $L$ , 我们使用平方误差损失函数:
$L(y,f(x))=(y-f(x))^2$
其损失变为:
$L(y,f_{k-1}(x)+T(x;\theta_k))\\ =[y-f_{k-1}(x)-T(x;\theta_k)] \\ =[r-T(x;\theta_k)]$
此处 $r=y-f_{k-1}(x)$ , 就是当前模型拟合到的数据的残差
算法步骤如下

输入数据T
初始化树 $f_0=0$
对 $k=1,2,3..,K$ :

计算残差
$r_{ki}=y_i-f_k(x_i)$
拟合残差得到一个回归树 $T_k$
更新
$f_k=f_{k-1}(x)+T(x;\theta_k)$

得到完整的回归树

GBDT 负梯度拟合

前面的步骤, 损失函数是平方误差损失, 这类sunshi优化是简单的, 但也容易过拟合, 针对这一个问题, 有学者提出了梯度提升(gradient boosting)算法, 利用快速梯度下降的方法, 利用损失函数的负梯度作为回归算法中, 残差的近似值
$-[\frac{\partial L(y,f(x_i))}{\partial f(x_i)}]$
那么, 最终,GBDT的算法变为了:
算法步骤如下

输入数据T
初始化树 $f_0=0$
对 $k=1,2,3..,K$ :

对于 $i=1,2,...,m$ :
计算残差近似
$r_{ki}=-[\frac{\partial L(y_i,f(x_i))}{\partial f(x_i)}]$
对 $r_{ki}$ 拟合一棵回归树, 最终我们得到 $K$ 棵树的结点区域 $R_{kj}$
对于 $j=1,2,...,J$ , 计算最优的拟合值:
$c_{kj}=argmin \sum L(y_i, f_{k-1}(x_i)+c)$
更新
$f_k=f_{k-1}(x)+T(x;\theta_k)$

得到回归树
$f(x)=\sum_{k=1}^{K}\sum_{j=1}^{J}c_{kj}I(x\in R_{kj})$
在上述步骤中, 如果损失函数是平方损失, 那么就按以前的步骤计算就可以了, 如果不是, 那就替换为残差近似. 对于区域 $J$ 来说, 这部分属于CART的内容

GBDT 分类问题

这里我们再看看GBDT分类算法，GBDT的分类算法从思想上和GBDT的回归算法没有区别，但是由于样本输出不是连续的值，而是离散的类别，导致我们无法直接从输出类别去拟合类别输出的误差。
为了解决这个问题，主要有两个方法，一个是用指数损失函数，此时GBDT退化为Adaboost算法。另一种方法是用类似于逻辑回归的对数似然损失函数的方法。也就是说，我们用的是类别的预测概率值和真实概率值的差来拟合损失。本文仅讨论用对数似然损失函数的GBDT分类。而对于对数似然损失函数，我们又有二元分类和多元分类的区别。

二元分类

如果使用指数损失, 那么GBDT其实相当于Adaboost, 如果使用逻辑回归里的对数似然,那么损失函数为:
$L(y,f(x))=\log(1+e^{-yf(x)})$

多元分类GBDT

多元比二元复杂一些, 多元对数似然,损失函数为:
$L(y,f(x))=-\sum_{k=1}^{K}y_k\log p_k(x)$
这里的 $k$ 为类别数
集合上两式，我们可以计算出第t轮的第i个样本对应类别l的负梯度误差为 $r_{til} = -\bigg[\frac{\partial L(y, f(x_i)))}{\partial f(x_i)}\bigg]$

GBDT总结

GBDT主要的优点有：

可以灵活处理各种类型的数据，包括连续值和离散值。
在相对少的调参时间情况下，预测的准备率也可以比较高。这个是相对SVM来说的。
使用一些健壮的损失函数，对异常值的鲁棒性非常强。比如 Huber损失函数和Quantile损失函数。
GBDT的主要缺点有：
由于弱学习器之间存在依赖关系，难以并行训练数据。不过可以通过自采样的SGBT来达到部分并行。

Boost-GBDT
GBDT也是集成学习Boosting家族的成员，但是却和传统的Adaboost有很大的不同。回顾下Adaboost...

Boost-GBDT

GBDT 回归

GBDT 负梯度拟合

GBDT 分类问题

二元分类

多元分类GBDT

GBDT总结

相关文章

Boost-GBDT

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读