美文网首页机器学习
CART树理解(一)

CART树理解(一)

作者: 只为此心无垠 | 来源:发表于2018-04-16 17:09 被阅读28次

一、概念

首先CART算法既可以用于分类和回归,它区别于ID3和C4.5的关键在于它是二叉树,可以做简化分类树的分类标准(基尼指数),也影响了它切分空间
分类用基尼指数指标,回归用平方误差

二、理解

CART树的概念要分步骤理解

  • 输入空间,将输入空间划分成R1到Rm,
  • 切分变量,切分点,
  • 递归构造

1、输入空间,输出值

2、 切分变量、切分点(重点)

挑选最优的切分变量,切分点是这个算法核心的步骤,也是最耗时的步骤,XGBoost和lightGBM速度快慢其实就取决于这个步骤的处理


3、算法

重点理解:下一次的划分是在上一次的划分子空间的基础上


算法

三、剪枝

CART树剪枝(二)

四、参考

1、统计学习方法
2、回归树:使用平方误差最小准则

相关文章

  • CART树理解(一)

    一、概念 首先CART算法既可以用于分类和回归,它区别于ID3和C4.5的关键在于它是二叉树,可以做简化分类树的分...

  • 随机森林和决策树(DecisionTree & RandomFo

    决策树 - 基于CART的决策树 CART分类回归树(classification and regression ...

  • 数据分析03 - 决策树

    标签(空格分隔): 数据分析 CART 创建决策树做分类 分类树如下: CART 回归树做预测

  • XGBoost详解

    Prerequisite: CART回归树 CART回归树是假设树为二叉树,通过不断将特征进行分裂。比如当前树结点...

  • 统计学习方法5.6 - 7.2笔记

    5.6 决策树 -- CART算法 CART是二叉结构树。多叉可以转换成二叉,表示是和非 在CART算法中分类树是...

  • CART树

    CART(classification and regression tree)算法是分类回归树算法,它是决策树的...

  • CART 分类与回归树

    本文结构: CART算法有两步 回归树的生成 分类树的生成 剪枝 CART - Classification an...

  • 经典决策树对比

    关于经典决策树算法ID3、C4.5及CART树的部分细节梳理。 决策树 决策树可以从两个视角理解。 If-Then...

  • 01-23

    今天看的是分类树,CART算法的决策树可以作为分类树或者回归树,通过寻找纯净的划分,引出纯度。而CART算法主干和...

  • 2019-04-26

    决策树 离散型数据ID3 连续型数据C4.5 分类与回归树算法(CART) CART算法就是将决策树中用于判断特征...

网友评论

    本文标题:CART树理解(一)

    本文链接:https://www.haomeiwen.com/subject/vsrekftx.html