boost家族
常见算法：
- Adaboost
- GBDT
- XGboost
Adaboost每一轮的基分类器都可以独挡一面，但是基于梯度的方法不行，因为每一轮的基础分类器学习的目标都是拟合残差，所以有 就是每一轮的结果都需要加上上一轮的结果，adaboost并非如此
总结：
- GBDT每一轮学习的目标不是原始数据的label，是残差（负梯度），学到的只是残差函数，之后都要更新成强学习器
- Aaboost每一轮学习的目标是原始数据的label，学到的是一个弱分类器
GBDT 最佳讲解 https://blog.csdn.net/zpalyq110/article/details/79527653
对于回归问题，梯度就是
cart树的生成算法
image
总结：
- 选择最佳的切分特征和特征切分点
- 为二叉树的两个节点给出label
- 递归建树
GBDT回归算法
https://www.cnblogs.com/pinard/p/6140514.html
image
分类算法跟回归的不同之处
- 负梯度计算不同（loss不同）
- 最佳负梯度（残差）的拟合不同
整体框架都是相同的
网友评论