由于最近工作中用到LightGBM，而这属于GBDT（梯度提升树）的一种，为了有效理解该算法，从最基础的机器学习知识出发，把该知识分支理出来。
大概分为四大块：
① 相关的基础点回顾：如自助采样构建样本集的方法，顺便回顾一下等
② 集成学习相关：梯度提升树可以分词为 梯度/提升/树，“梯度”是基础数学知识（涉及到泰勒展开式）略去不表。“提升”是集成学习的理论，“树”则是指决策树。
③ 决策树相关：原因如上所示。
④ 具体算法：GBDT、XGBoost、LightGBM。这一块应该占用篇幅最大。
2018.12.02
网友评论