美文网首页
集成学习 bagging&boosting

集成学习 bagging&boosting

作者: 且歌123 | 来源:发表于2017-11-06 00:38 被阅读0次

bagging通过类似交叉验证的方式,产生多个子集,进行多次学习,然后对各模型的结果取平均数。就可以通过相对简单的模型,得到比较好的效果。

相对于直接用比较复杂的模型,bagging不容易过拟合。

boosting,组合多个(多次?)简单的学习器(弱学习器 weak learner),形成比较好的学习效果。

弱学习器,正确率大于1/2即可。

分布D ???

α(t) =1/2 * ln ( (1- ε) / ε )

http://blog.csdn.net/renyp8799/article/details/49837389

基础分类器的过拟合,或造成boosting的过拟合;

粉红噪声pink noise,也就是均匀噪声,会造成过拟合;

更多的弱分类器,不会让boosting过拟合,因为boosting过程增大了margin; (?)

除了减少error频率,boosting还可以提升置信度;

相关文章

  • 集成学习 bagging&boosting

    bagging通过类似交叉验证的方式,产生多个子集,进行多次学习,然后对各模型的结果取平均数。就可以通过相对简单的...

  • bagging&boosting

    bagging和boosting都属于组合学习算法,都是将简单的分类或者回归算法组合在一起来提高模型的分类或者回归...

  • 11 集成学习 - XGBoost案例 - 波士顿房价进行预测

    08 集成学习 - XGBoost概述09 集成学习 - XGBoost公式推导10 集成学习 - XGBoost...

  • 2019-03-02

    ML——集成学习 个体与集成 集成学习:构建并结合多个学习器来完成学习任务。 同质:集成中只包含同种类型的个体学习...

  • 3.1.1.8 集成学习

    集成学习 原理 《机器学习》周志华 8.1 个体与集成 集成学习(ensemble learning) 通过构建并...

  • 10.machine_learning_model_ensemb

    机器学习集成学习与boosting模型 机器学习中的集成学习 顾名思义,集成学习(ensemble learnin...

  • 西瓜书学习笔记-集成学习

    集成学习 个体与集成 集成学习通过构造多个学习器来完成学习任务。集成学习的构造是先产生一组个体学习器,然后用某种策...

  • Task5 模型集成

    这次主要学习的知识点是:集成学习方法、深度学习中的集成学习和结果后处理思路。 1、集成学习方法 在机器学习中的集成...

  • AdaBoost模型

    集成学习是目前很流行的一种机器学习方法,kaggle比赛取得好成绩的队伍几乎都是用的集成学习。 一、集成学习 集成...

  • CV-模型集成

    集成学习方法 集成学习能够提高预测精度,常见的集成学习方法有stacking、bagging和boosting,同...

网友评论

      本文标题:集成学习 bagging&boosting

      本文链接:https://www.haomeiwen.com/subject/dtdkmxtx.html