美文网首页
决策树算法

决策树算法

作者: LeeMin_Z | 来源:发表于2018-04-27 18:28 被阅读10次

1. 决策树算法简介

  1. 总结:分类的一种,根据算信息增益确定树根和树干。

决策树分类的主要仸务是要确定各个类别的决策区域,或者说,确定不同
类别之间的边界。在决策树分类模型中,不同类别之间的边界通过一个树
状结构来表示

tree1
  1. 需要思考的问题:
  • 最大高度 = 决策属性的个数
  • 树越矮越好
  • 要把重要的好的属性放在树根

2. 决策树过程:

1 开始时,所有的训练集样本都在树根

2 属性都是可分类的属性(如果是连续值的话,先要对其进行离散化)

3 决策树分类第一步:选择属性,作为树根
3.1. 比较流行的属性选择算法:信息增益
3.2. 信息增益最大的属性被认为是最好的树根

  1. 停止划分的条件:
    1 某个节点上的所有样本都属于相同的类别
    2 所有属性都用到了– 采用多数有效法对叶子节点分类
    3 没有样本了

3. 如何计算信息增益

  1. 公式
gain.png
  1. 一个例子
sample.png sample1.png

参考资料: 数据库系统概论(新技术篇) 第六讲 分类技术

2018.4.27

相关文章

  • 决策树算法总结

    目录 一、决策树算法思想 二、决策树学习本质 三、总结 一、决策树(decision tree)算法思想: 决策树...

  • 100天搞定机器学习|Day23-25 决策树及Python实现

    算法部分不再细讲,之前发过很多: 【算法系列】决策树 决策树(Decision Tree)ID3算法 决策树(De...

  • 决策树Decision Tree

    决策树是一种解决分类问题的算法 。 常用的 决策树算法有: ID3 算法 ID3 是最早提出的决策树算法,他...

  • Python学习——决策树中纯度算法的实现

    决策树 决策树算法是机器学习中的一个基础算法,该算法有着诸多的优点。在python中实现决策树,现阶段都已经集成中...

  • 决策树算法

    决策树 决策树也是经常使用的数据挖掘算法,其不用了解机器学习的知识,就能搞明白决策树是如何工作的。 决策树算法能够...

  • Machine Learning in Action:Decis

    概述 决策树这个算法比较接地气,就算你根本不懂机器学习算法也可以很好的理解决策树,决策树之前的算法就已经解释过了。...

  • 通俗地说决策树算法(一)基础概念介绍

    决策树算是比较常见的数据挖掘算法了,最近也想写点算法的东西,就先写个决策树吧。 一. 什么是决策树 决策树是什么,...

  • ID3和C4.5决策树算法总结及其ID3Python实现

    ID3和C4.5决策树算法总结及其ID3Python实现 1.决策树的算法流程 决策树的算法流程主要是:1.如果当...

  • 机器学习6-决策树

    一. 决策树概述 1.1 什么是决策树 决策树输入: 测试集决策树输出: 分类规则(决策树) 1.2 决策树算法概...

  • 数据分析方法-决策树

    大家好,这篇文章我们探讨下,决策树算法的相关的知识,决策树是一种分类算法,现在也可以应用与回归,决策树算法的实现有...

网友评论

      本文标题:决策树算法

      本文链接:https://www.haomeiwen.com/subject/jkgylftx.html