信息熵

作者: wzNote | 来源:发表于2019-09-29 18:47 被阅读0次

熵、条件熵、信息增益（互信息）
一文理解机器学习中的各种熵
ID3与C4.5算法
决策树算法梳理
信息熵（香农熵）、条件熵、信息增益的简单了解
信息熵与最大熵模型
机器学习之决策树
熵之道
联合信息熵和条件信息熵
cross entropy交叉熵和ground truth总结

信息熵

熵是对平均不确定性的度量
$H(X)=-\sum_{x\in X} P(x)\cdot \log P(x)$

互信息

得知特征Y的信息而使得对标签X的信息的不确定性减少的程度
$I(X;Y)=\sum_{x \in X}\sum_{y \in Y}P(x,y)\log \frac{P(x,y)}{P(x)P(y)}$
可以用于衡量两个概率分布的相似性

python计算信息熵

def calc_ent(x):
    """
        calculate shanno ent of x
    """
    x_value_list = set([x[i] for i in range(x.shape[0])])
    ent = 0.0
    for x_value in x_value_list:
        p = float(x[x == x_value].shape[0]) / x.shape[0]
        logp = np.log2(p)
        ent -= p * logp
    return ent

熵、条件熵、信息增益（互信息）
信息增益首先明确一点，信息熵是信息量的期望！期望！期望！（各种信息熵都是如此，像熵、条件熵、信息增益）熵：表示随...
一文理解机器学习中的各种熵
本文的目录组织如下：【1】自信息【2】熵（香农熵）【3】联合熵【4】条件熵【5】互信息（信息增益）【6】熵、联...
ID3与C4.5算法
写在开始在开始决策树算法之前，我们需要准备一些信息论的知识：信息熵条件熵信息增益交叉熵相对熵信息熵 ...
决策树算法梳理
信息论基础（熵联合熵条件熵信息增益基尼不纯度）信息熵：信息熵是度量样本集合纯度常用的一种指标。在信息论中...
信息熵（香农熵）、条件熵、信息增益的简单了解
信息熵（香农熵） 1948年，香农提出了 “信息熵（entropy）”的概念信息熵是消除不确定性所需信息量的度量，...
信息熵与最大熵模型
信息熵是什么？机器学习入门：重要的概念---信息熵（Shannon’s Entropy Model）信息熵信息论中...
机器学习之决策树
信息熵: 信息熵描述信息源的不确定程度，信息熵越大、越不确定. 信息熵公式: 例子: 假设中国乒乓球队和巴西乒乓球...
熵之道
熵的定义如下：互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵；互信息和信息增益理...
联合信息熵和条件信息熵
下面这几个熵都是描述联合分布中的两个变量相互影响的关系。联合信息熵联合信息熵的定义如下：条件信息熵条件信息...
cross entropy交叉熵和ground truth总结
一.cross entropy 交叉熵交叉熵的概念得从信息熵的概念说起，我们都知道信息熵，简而言之就是信息量多少...