美文网首页
14. 决策树剪枝

14. 决策树剪枝

作者: 十里江城 | 来源:发表于2019-11-09 23:27 被阅读0次

决策树太高容易过拟合,需要剪枝:

预剪枝:边构建边剪枝,提前停止

不导致最后每一个节点都是一个样本。比如min_sample<50时则提前停止,又如深度=3时则停止

后剪枝:决策树构建好后,开始裁剪

当作损失函数的C_alpha_{T} = C(T) + alpha * |T_leaf|
其中

  • C(T)是之前的评价函数
  • T_leaf:当前节点拥有的叶子节点个数;
  • alpha手动指定:alpha大时T_leaf需要较小,alpha小时T_leaf可以大一些(叶子节点多一些)
    后剪枝问题中,对当前节点不剪枝与剪枝的C_alpha_{T}不同损失函数分别为C1 + alpha * 3、C2 + alpha * 1,可见剪枝后损失函数更优

当然,C_alpha_{T}越小越好

无休止构建决策树会在训练集上结果达到100%,但在测试集上不适用

相关文章

  • 14. 决策树剪枝

    决策树太高容易过拟合,需要剪枝: 预剪枝:边构建边剪枝,提前停止 不导致最后每一个节点都是一个样本。比如min_s...

  • 决策树的剪枝

    决策树的剪枝 由于生成的决策树会存在过拟合的现象,需要对决策树进行简化,这个过程叫做剪枝。 剪枝可分为:预剪枝 和...

  • 决策树的剪枝、连续与缺失

    剪枝处理 剪枝是决策树学习算法对付“过拟合”的主要手段。剪枝的基本策略有预剪枝和后剪枝两种。预剪枝是指在决策树生成...

  • 如何对决策树进行剪枝?

    如何对决策树进行剪枝? 决策树的剪枝通常有两种方法,预剪枝(Pre-Pruning)和后剪枝(Post- Prun...

  • 浅析决策树的生长和剪枝

    摘要:决策树剪枝策略:先剪枝、后剪枝,用于解决过拟合问题。 本文分享自华为云社区《浅析决策树的生长和剪枝[http...

  • 决策树剪枝(Decision Tree Pruning)

    1.决策树剪枝是什么?为什么要剪枝? 决策树的剪枝是将生成的树进行简化,以避免过拟合。 2.剪枝方法 2.1 预剪...

  • python tree

    决策树理论 决策树ID3 信息增益C4.5 信息增益率CART 基尼系数前剪枝,后剪枝 from math imp...

  • 决策树

    1、熵:定义为信息的期望值。表示随机变量不确定性的度量。 5、决策树剪枝策略预剪枝:边建立决策树边进行剪枝的操作(...

  • 决策树剪枝(损失函数和代价函数)

    决策树剪枝是简化已经生成的复杂的决策树,防止过拟合,使生成的决策更一般化,下面介绍决策树剪枝原理 t是树的叶节点,...

  • 决策树剪枝

    一颗完全生长的决策树难免会遇到过拟合的情况。因此,我们需要对决策树进行剪枝,提升模型的泛化能力。 决策树的剪枝操作...

网友评论

      本文标题:14. 决策树剪枝

      本文链接:https://www.haomeiwen.com/subject/izlobctx.html