一句话总结随机森林

作者: 城市中迷途小书童 | 来源:发表于2018-09-19 12:11 被阅读25次

一句话总结随机森林

 核心:用有放回采样的样本训练多棵决策树,训练决策树的每个节点是只用了无放回抽样的部分特征,预测时用这些树的预测结果进行投票。

随机森林是一种集成学习算法,它由多棵决策树组成。这些决策树用对训练样本集随机抽样构造出样本集训练得到。随机森林不仅对训练样本进行抽样,还对特征向量的分量随机抽样,在训练决策树时,每次分裂时只使用一部分抽样的特征分量作为候选特征进行分裂。

 对于分类问题,一个测试样本会送到每一棵决策树中进行预测,然后投票,得票最多的类为最终分类结果。对于回归问题随机森林的预测输出是所有决策树输出的均值。

假设有n个训练样本。训练每一棵树时,从样本集中有放回的抽取n个样本,每个样本可能会被抽中多次,也可能一次都没抽中。用这个抽样的样本集训练一棵决策树,训练时,每次寻找最佳分裂时,还要对特征向量的分量采样,即只考虑部分特征分量。

 随机森林是一种判别模型,既支持分类问题,也支持回归问题,并且支持多分类问题。这是一种非线性模型。

相关文章

  • 随机森林(RF)、梯度提升决策树(GBDT、也叫多重累加回归树(

    随机森林(RF) 一句话概括:多棵决策树(CART)通过 Bagging 方法组成随机森林。参考文章:[1] [M...

  • 一句话总结随机森林

    一句话总结随机森林 核心:用有放回采样的样本训练多棵决策树,训练决策树的每个节点是只用了无放回抽样的部分特征,预测...

  • 随机森林简单总结

    如果有兴趣,请大家关注本人公众号AI Engine(I是大写的i) 之前本人对决策树以及其实现分类的简单原...

  • 常用的算法总结

    风控模型常用的算法总结 一、常用算法 监督算法 随机森林采用投票机制,xgb则是弱学习机的集合。随机森林关注方差,...

  • 何为决策树和随机森林?

    随机森林 定义:随机森林或随机决策森林是用于分类、回归和其他任务的集成学习方法。 名字由来:随机森林就是使用随机的...

  • 集成学习之Bagging和RF

    一、什么是随机森林 二、随机森林的两个随机 三、随机森林算法过程 四、为什么如此受欢迎 五、随机森林算法的优缺点 ...

  • 03 集成学习 - Boosting - AdaBoost算法原

    02 集成学习 - 特征重要度、Extra Tree、TRTE、IForest、随机森林总结 八、Boosting...

  • (十四、)极限森林

    一、极限森林 特征随机参数随机分裂随机因为分裂是随机的,所以就不需要样本是随机的了 随机森林和极限森林不同之处:随...

  • 随机森林

    https://www.cnblogs.com/fionacai/p/5894142.htmlhttps://ww...

  • 随机森林

    先上重点 GBDT和随机森林虽然都是决策树的组合算法,但是两者的训练过程还是很不相同的。 GBDT训练是每次一棵,...

网友评论

    本文标题:一句话总结随机森林

    本文链接:https://www.haomeiwen.com/subject/bpxinftx.html