基学习器:CART
每个叶子节点上面有一个分数
![](https://img.haomeiwen.com/i5401649/dc198f7ea1706ef5.png)
不够厉害,所以找一个更强的模型
tree ensemble
对每个样本的预测结果是每棵树预测分数的和
目标函数
采用boosting(additive training)方法,每一次都加入一个新的函数。依赖每个数据点上的误差函数的一阶导数和二阶导(区别于GBDT)。
![](https://img.haomeiwen.com/i5401649/637ab1a2665b4726.png)
树的复杂度
复杂度包含了一棵树里面的叶子个数和输出分数的L2模平方。把目标函数改写一下,可以得到一个一维二次函数。求出最好的w和所对应的obj目标函数。
![](https://img.haomeiwen.com/i5401649/002281b96a54dcdb.png)
![](https://img.haomeiwen.com/i5401649/8fb88d91949c7017.png)
打分函数切分算法
![](https://img.haomeiwen.com/i5401649/bcdafb08ad3ee1a6.png)
网友评论