美文网首页
信息熵与决策树

信息熵与决策树

作者: BinJiang | 来源:发表于2019-08-19 09:58 被阅读0次

条件熵

image
image.png

联合熵

image

链式法则

image
疑问: 为什么ΣΣp(x,y) = Σp(x) 或者 Σp(y)
打个比方: 一个抽卡牌游戏,共有10张,分别是1,2,3,4,5。设x为第一次,y为第二次,抽到x=1的概率是抽到
(x,y) = (1,1),(1,2),(1,3),(1,4),(1,5)的概率总和

决策树

决策树就是以信息熵和特征为基础,以信息熵的下降为目的对样本向下划分。
主要的决策树方法有: ID3,C4.5 和 CART
*ID3: 主要用信息增益法, 信息增益 = 原有信息的信息熵(较无序,数值比较大)- 基于特征分类后的信息熵(较有序,数值比较小),对所有的特征进行信息增益的计算,然后选择信息增熵增益最大的特征来向下分类。
*C4.5:使用的信息增益率, 信息增益率 = 信息增益/原有信息的信息熵
*CART:使用基尼系数,并且只建立二叉树结构
剪枝操作:Loss(T)= C(T)+a(T),其中T是模型复杂度,C(T)是误差,a是一个比率。 为防止过拟合,当模型复杂度高的时候,系统误差越小,平衡了Loss function.

相关文章

  • 机器学习之决策树

    决策树 通过构造决策树来区分鸢尾花 须知概念 信息熵 -- 表示信息混乱程度,信息越杂乱,熵值越大,信息越有序,熵...

  • 信息熵与基尼指数的关系

    序 熵的概念中有信息熵、信息增益、信息增益比、基尼指数,这些统统作为决策树分裂的依据,其中,我们需要知道信息熵与基...

  • 决策树(Decision Tree)算法

    1 理论部分 需要弄清楚几个概念信息熵,决策树,决策树优化, 剪枝 ,决策树可视化 1 信息熵(Entropy 单...

  • 决策树及ID3算法实现

    什么是决策树 决策树和if-else的不同 节点的划分 信息增益(ID3)熵条件熵经验熵和经验条件熵信息增益算法描...

  • 2 决策树理论细节

    1 信息熵 1.1 条件熵 1.2 信息增益 1.3 信息增益率和基尼系数 2 决策树 3 决策树的评价、剪枝和过...

  • ID3与C4.5算法

    写在开始 在开始决策树算法之前,我们需要准备一些信息论的知识: 信息熵 条件熵 信息增益 交叉熵 相对熵 信息熵 ...

  • 决策树算法梳理

    决策树算法梳理 1. 信息论基础(熵 联合熵 条件熵 信息增益 基尼不纯度) 1.1 熵 (entropy)...

  • 决策树与随机森林(一)

    转自小象学院 我的学习笔记 1. 复习信息熵:熵,联合熵、条件熵、互信息 2. 决策树学习算法:信息增益 | ID...

  • 【数据科学家学习小组】之机器学习第一期第七周作业

    决策树分析是一种什么算法? 决策树算法利用了信息熵和决策树思维: 信息熵越小的数据集,样本的确定性越高,当数据集的...

  • 信息熵相关知识总结

    前言 学习决策树时会接触到一些信息熵,条件熵和信息增益的知识,此外还有互信息,相对熵,交叉熵和互信息,KL散度等等...

网友评论

      本文标题:信息熵与决策树

      本文链接:https://www.haomeiwen.com/subject/dynjsctx.html