美文网首页
Adaboost📒

Adaboost📒

作者: Chengxi_1a51 | 来源:发表于2019-01-05 15:56 被阅读0次

个体学习器: 决策树, 神经网络

Boosting思想:

    给定初始训练数据,由此训练出第一个基学习器。

    根据基学习器的表现对样本进行调整,对于学习器做错的样本投入更多关注。

    用调整后的样本,训练下一个基学习器。

    重复上述过程T次,将T个学习器加权结合。

Boosting的代表是Adaboost,相比其他学习算法,不会很容易出现过拟合现象。

AdaBoosting例子:

“+”, “-”表示两种类别

一共十个样本,所以每个样本权重0.1

1.

第一次划分3个点划分错误,根据误差表达式 e1=(0.1+0.1+0.1)/1.0=0.3

分类器权重

对于正确分类的7个点,权重不变,对于错分的3个点,权重为

D1=D0*(1-e1)/e1=0.1*(1-0.3)/0.3=0.2333


第二次分类,有三个“-”分类错误

权重值和为 0.1 * 7 + 0.2333*3 = 1.3990

分类误差为 0.1*3 / 1.3990 = 0.2114

分类器权重为 0.6493

错分的三个点权重值为 D2=0.1*(1-0.2144)/0.2144=0.3664

第三次:

源自 https://www.jianshu.com/p/389d28f853c0

相关文章

网友评论

      本文标题:Adaboost📒

      本文链接:https://www.haomeiwen.com/subject/rmghrqtx.html