信息熵

作者: Yuyao_b2c0 | 来源:发表于2020-01-08 10:30 被阅读0次

熵、条件熵、信息增益（互信息）
一文理解机器学习中的各种熵
ID3与C4.5算法
决策树算法梳理
信息熵（香农熵）、条件熵、信息增益的简单了解
信息熵与最大熵模型
机器学习之决策树
熵之道
联合信息熵和条件信息熵
cross entropy交叉熵和ground truth总结

http://www.sohu.com/a/72642268_224832

若一个随机变量X可能的取值有M个，则它的信息熵H(X)的取值在[0,logM]之间。当X取某个确定值的时候，H(X)最小为0；当X服从均匀分布时，H(X)最大为logM；即熵越大，表示随机变量X不确定性越大。（决策树中对应的，熵越大，叶子节点的不纯度越高）

注意：由于概率<=1,log(p)<=0,所以信息熵前面是有个负号的哟（因为熵代表的是用来表示这个变量的最小比特数，所以应该是个整数哒）

H(X) = $\sum_{i=1}^M -P(X=i)*\log_2( P(X=i))$

GINI指数：

https://blog.csdn.net/YE1215172385/article/details/79470926

由上面的链接可以看到，Gini指数可以看做信息熵在P=1处的一阶泰勒展开，所以GINI指数也可以用来衡量叶子节点的不纯度，与信息熵的大体趋势是一致的，并且避开了log计算，所以CART使用的GINI指数。

熵、条件熵、信息增益（互信息）
信息增益首先明确一点，信息熵是信息量的期望！期望！期望！（各种信息熵都是如此，像熵、条件熵、信息增益）熵：表示随...
一文理解机器学习中的各种熵
本文的目录组织如下：【1】自信息【2】熵（香农熵）【3】联合熵【4】条件熵【5】互信息（信息增益）【6】熵、联...
ID3与C4.5算法
写在开始在开始决策树算法之前，我们需要准备一些信息论的知识：信息熵条件熵信息增益交叉熵相对熵信息熵 ...
决策树算法梳理
信息论基础（熵联合熵条件熵信息增益基尼不纯度）信息熵：信息熵是度量样本集合纯度常用的一种指标。在信息论中...
信息熵（香农熵）、条件熵、信息增益的简单了解
信息熵（香农熵） 1948年，香农提出了 “信息熵（entropy）”的概念信息熵是消除不确定性所需信息量的度量，...
信息熵与最大熵模型
信息熵是什么？机器学习入门：重要的概念---信息熵（Shannon’s Entropy Model）信息熵信息论中...
机器学习之决策树
信息熵: 信息熵描述信息源的不确定程度，信息熵越大、越不确定. 信息熵公式: 例子: 假设中国乒乓球队和巴西乒乓球...
熵之道
熵的定义如下：互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵；互信息和信息增益理...
联合信息熵和条件信息熵
下面这几个熵都是描述联合分布中的两个变量相互影响的关系。联合信息熵联合信息熵的定义如下：条件信息熵条件信息...
cross entropy交叉熵和ground truth总结
一.cross entropy 交叉熵交叉熵的概念得从信息熵的概念说起，我们都知道信息熵，简而言之就是信息量多少...