参考:
一文搞定GBDT、Xgboost和LightGBM的面试
机器学习算法之LightGBM
LightGBM两种使用方式
lightgbm做二分类,多分类以及回归任务(含python源码)
Adaboost、GBDT与XGBoost的区别
Adaboost、GBDT、XGBoost的对比理解
集成学习的方法包括:Bagging(无依赖)、boosting(有依赖)、stack。
- Adaboost(Adaptive Boosting,自适应增强)是boosting流派中最具代表性的一种方法。
- GBDT是另一种boosting方法:GBDT每一次的计算是都为了减少上一次的残差,进而在残差减少(负梯度)的方向上建立一个新的模型。
XGboost是GBDT的一种实现。
GBDT进阶版:LightGBM.
梯度上升用于求局部最大值,梯度下降用于求局部最小值。
网友评论