从泰勒公式说起

• 泰勒公式损失函数存在二阶导数的时候，可以提供参数下降的方向

  
  梯度下降法的泰勒展开理解.png

• 为什么选择负梯度方向的原因通过泰勒的方式解释一下

  
  牛顿下降法原理.png

• 使用牛顿下降法来逼近误差的方法，需要二阶可导

  
  引入函数空间这个概念.png

• 引入函数空间，通过类比的方法来构造新的子树。就是一个更新迭代的一堆树。通过引入一颗新的树来减小误差。

  
  boosting.png
• boosting的思想很牛逼，但其实就是一种参数更新的思路，但是这个参数是一个子树。通过生成一颗子树叠加到之前的子树上来减小损失函数。

• 基分类器是回归树有很多优点：
  1.解释性强
  2.处理混合特征
  3.伸缩不变性（这个不怎么理解）
  4.对异常点具有非常好的鲁棒性
  5.。。。。
  总之，就是解释能力比较好

  
  BOOST Decision Tree.png
• 首先类似于梯度下降，也有一个学习率

• 同时求解方法是贪心的

  
  利用梯度产生子树.png
  xgboost.png

• 算法上最大的特点
  1.通过二阶导来选择更新方向
  2.加入正则项来对构建的树，加入贝叶斯先验。L2正则意味着：先验高斯分布，
  L1正则：瑞斯分布

  
  需要最小化的目标函数.png
  image.png

• 正则化的先验解释

  
  误差函数.png
  一些列的变换.png
  变换2.png
  节点数值.png

• 得出了树的子叶节点的合理的权值，同时，也得出了正确的损失函数。关于第t颗树的。

  
  建树.png

• 传统的方法都是先建树，在加入正则剪枝。

  
  建树_xgboost.png
• 这种建树的方式考虑了正则化。