在集成学习中，Adaboost和GDBT都是采用加法模型和前向分布算法，唯一不同的是损失函数的选取。
首先我们需要知道什么是加法模型：
2.加法模型如何求解参数呢？
由于加法模型有n个基函数，对于m个系数代求，如果直接求解是很困难求解出来的。我们可以从前往后，每次学习一个基函数以及求解一个系数。
利用泰勒一阶展开式展开我们的损失函数：
对于分类问题：拟合损失函数负梯度，结果就和Adaboost一样。
对于回归问题：损失函数为均方误差。基函数就是拟合负梯度。
1.前向分布算法 在集成学习中，Adaboost和GDBT都是采用加法模型和前向分布算法，唯一不同的是损失函数的选...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
面试算法代码知识梳理系列 面试算法知识梳理(1) - 排序算法面试算法知识梳理(2) - 字符串算法第一部分面试算...
本文标题：2019-04-07-GDBT算法梳理
本文链接：https://www.haomeiwen.com/subject/tkmeiqtx.html
网友评论