美文网首页
联合信息熵和条件信息熵

联合信息熵和条件信息熵

作者: Jeffery_李俊峰 | 来源:发表于2018-12-06 09:55 被阅读0次

下面这几个熵都是描述联合分布中的两个变量相互影响的关系。

联合信息熵

联合信息熵的定义如下:


联合信息熵定义

条件信息熵

条件信息熵的定义如下:


条件信息熵定义

用图像形象化地理解这二者的关系:

熵的关系图
举个栗子,今天的天气是什么可以看作为事件X,我是否穿短袖可看作事件Y。这两个事件可以构成联合概率分布p(X,Y),其联合熵为上述关系图的第一条,注意,两个事件加起来的信息量(H(X,Y))肯定是大于等于单个事件的信息量(H(X)H(Y))的。同时,天气如何与我是否穿短袖这两个事件并不是独立的,
因此已知今天天气的情况下,我是否穿衣的信息量/不确定度是减少了的。所以已知H(X)这个信息量时,联合分布H(X,Y)剩余的信息量就是条件熵: 条件信息熵的另一种定义

互信息(信息增益)

互信息是描述一个联合分布中两个事件的相互影响程度/或者相关那部分的信息量,决策树中就是根据信息增益的大小来选择分裂特征,把最终分类的label看作随机事件Y,当前待选择的特征看作随机事件X,信息增益就是当前Y的信息熵减去已经知道该特征X的情况下Y的信息熵(当已知某个特征的情况下,Y的信息熵越小,即Y的取值越能确定下来,采用该特征作为分裂特征也就能更好地进行最终分类),计算方式如下:

互信息的定义
下图表示各种信息的关系,同时展示了互信息I(X,Y)的不同求法: 各种信息的关系
其中V(X,Y) (Variation of information)度量了不同随机变量/事件之间的差别,当V(X,Y)=0说明这两个变量是完全一致的,值越大则表明两个变量越独立,具体求法:
Variation of information

参考自:https://blog.csdn.net/haolexiao/article/details/70142571

相关文章

  • 联合信息熵和条件信息熵

    下面这几个熵都是描述联合分布中的两个变量相互影响的关系。 联合信息熵 联合信息熵的定义如下: 条件信息熵 条件信息...

  • 一文理解机器学习中的各种熵

    本文的目录组织如下: 【1】自信息【2】熵(香农熵)【3】联合熵【4】条件熵【5】互信息(信息增益)【6】 熵、联...

  • 决策树算法梳理

    信息论基础(熵 联合熵 条件熵 信息增益 基尼不纯度) 信息熵:信息熵是度量样本集合纯度常用的一种指标。在信息论中...

  • 决策树算法梳理

    决策树算法梳理 1. 信息论基础(熵 联合熵 条件熵 信息增益 基尼不纯度) 1.1 熵 (entropy)...

  • 信息熵、交叉熵、联合熵、条件熵、信息增益

    1. 自信息 自信息是信息不确定性的衡量指标。信息发生的可能性越高,包含的信息越少,信息发生的可能性越低,包含的信...

  • 决策树与随机森林(一)

    转自小象学院 我的学习笔记 1. 复习信息熵:熵,联合熵、条件熵、互信息 2. 决策树学习算法:信息增益 | ID...

  • 信息熵相关的定义定理

    1. 信息熵 // todo 2. 条件熵 // todo 3. 联合熵 // todo 4. 相对熵KL距离 5...

  • 信息熵 小结

    各类熵的定义和计算 单个变量的信息熵的计算公式如下 两个变量的联合熵计算公式 条件熵是条件分布上关于起条件作用的那...

  • 熵之道

    熵的定义如下: 互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵; 互信息和信息增益理...

  • 熵、条件熵、信息增益(互信息)

    信息增益 首先明确一点,信息熵是信息量的期望!期望!期望!(各种信息熵都是如此,像熵、条件熵、信息增益)熵:表示随...

网友评论

      本文标题:联合信息熵和条件信息熵

      本文链接:https://www.haomeiwen.com/subject/lbjncqtx.html