决策树

1.回归树：用结点上的所有样本的均值作为预测值，用均方差作为判断标准。

2.分类树：用结点上的所有样本的多数属性作为分类结果。用信息增益、增益率作为分割点的判断标准。

3. GBDT是回归树。算法有两种描述思路，一个是基于残差的版本，一个是基于梯度gradient的版本。区别在于，两者之间后一棵树学习的目标不同。

4. 基于残差的版本：每个回归树学习前面树的残差，并且用shrinkage把学习到的结果大步变小步，不断迭代学习。其中的代价函数是常见的均方差。残差=真实值-预测值*shrinkage”。shrinkage设小了只会让学习更慢，设大了就等于没设，它适用于所有增量迭代求解问题；而Gradient的步长设小了容易陷入局部最优点，设大了容易不收敛。

5. 基于梯度的版本：梯度版本的GBDT是用多分类Multi-class classification 的思想来实现的。解决分类问题，回归的是属于各个类别的概率。最优化的目标类似于极大似然。对LossFuction梯度下降。每棵树去拟合损失函数的负梯度方向。