决策树

作者: 求好运啊 | 来源:发表于2019-02-18 10:48 被阅读0次
树的组成

衡量标准——熵

熵:熵是表示随机变量不确定性的度量(解释:说明物体内部的混乱程度)
公式:H(X) = - ΣPi * logPi , i = 1,2……n
image.png

案例分析
image.png
image.png
image.png

剪枝处理——防止过拟合

  • 预剪枝:是指决策树生成过程中,对每个节点在划分前进行估计,若当前节点的划分不能带来决策树返话费能力的提升,则停止划分并将当前节点标记为叶结点————>缺点(有可能欠拟合)
  • 后剪枝:先从训练集生成一棵完整的决策树,然后自底而上地对非叶节点进行考察,若将该点对应的子树换为叶节点能带来决策树泛化能力的提升,则该子树替换为叶节点————>缺点(训练时间长)


    image.png

集成算法

image.png Bagging模型
image.png
随机森林
Boost模型
Stacking模型

相关文章

  • 机器学习6-决策树

    一. 决策树概述 1.1 什么是决策树 决策树输入: 测试集决策树输出: 分类规则(决策树) 1.2 决策树算法概...

  • 决策树

    1、决策树 决策树学习通常包括3个步骤: 特征选择。 决策树生成。 决策树剪枝。 决策树的学习目标是:根据给定的训...

  • 决策树

    决策树 决策树模型与学习 特征选择 决策树的生成 决策树的剪枝 CART 算法 决策树模型呈树形结构,在分类问题中...

  • 决策树算法总结

    目录 一、决策树算法思想 二、决策树学习本质 三、总结 一、决策树(decision tree)算法思想: 决策树...

  • 机器学习 - 决策树算法[一]

    1 决策树模型与学习 1.1 决策树模型 决策树定义: 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由...

  • 机器学习系列(三十六)——回归决策树与决策树总结

    本篇主要内容:回归决策树原理、回归树学习曲线、决策树总结 回归决策树原理 回归决策树树是用于回归的决策树模型,回归...

  • [机器学习]决策树

    决策树 @(技术博客)[机器学习, 决策树, python] 学习决策树首先要搞清楚决策树是什么(what),在弄...

  • 经典机器学习系列之【决策树详解】

      这节我们来讲说一下决策树。介绍一下决策树的基础知识、决策树的基本算法、决策树中的问题以及决策树的理解和解释。 ...

  • 第5章 决策树

    内容 一、决策树内容简介 二、决策树的模型与学习 三、特征选择 四、决策树生成 五、决策树剪枝 六、CART算法 ...

  • 决策树与随机森林

    PART I 决策树 (Decision Tree) 决策树基本知识 决策树何时停止生长:(I) all leaf...

网友评论

      本文标题:决策树

      本文链接:https://www.haomeiwen.com/subject/qvmleqtx.html