信息论概念汇总

作者: netczy | 来源:发表于2019-02-13 04:55 被阅读0次

信息论概念汇总
什么是信息熵？
信息论概念
《熵减：华为活力之源》读书总结
交叉熵
信息论，熵，KL散度，交叉熵
你有你的计划世界另有计划之一个基于信息论的人生观
交叉熵——我们如何评估差异
概念汇总
信息论基础概念理解

总结下机器学习中的各种熵

自信息

对事件不确定性的度量
$I(p_i) = -log(p_i)$

熵

熵表示随机变量不确定性的度量。
设 $X$ 是一个取有限个值的离散随机变量，其概率分布为
$\begin{align} P ( X = x_{i} ) = p_{i}, \quad i =1, 2, \cdots, n \end{align}$
则随机变量 $X$ 的熵
$\begin{align} H ( X ) = H ( p ) = - \sum_{i=1}^{n} p_{i} \log p_{i} \end{align}$
其中，若 $p_{i}=0$ ，则定义 $0 \log 0 = 0$ 若 $\begin{align} p_{i} = \dfrac{1}{n} \end{align}$ 则
$\begin{align} H ( p ) &= - \sum_{i=1}^{n} p_{i} \log p_{i} \\\ & = - \sum_{i=1}^{n} \dfrac{1}{n} \log \dfrac{1}{n} \\\ & = \log n\end{align}$
由定义，得 $0 \leq H ( p ) \leq \log n$

联合熵

描述一对随机变量平均所需要的信息量
$H(X,Y) = \sum_x\sum_yP(x,y)log_2[p(x,y)]$
联合熵的性质

条件熵

条件熵 $H ( Y | X )$ 表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。
随机变量 $X$ 给定的条件下随机变量 $Y$ 的条件熵定义为给定条件下 $Y$ 的条件概率分布的熵对 $X$ 的数学期望。
$\begin{align} H ( Y | X ) &= \sum_{x\in X} p(x) H ( Y | X = x ) 　\\\ & = \sum_{x\in X} p(x) \sum_{y\in Y} p(y|x)logp(y|x) \\\ & = \sum_{x\in X}\sum_{y\in Y} p(x,y)logp(y|x) \end{align}$
从公式的推断过程，可以得到条件熵的一个性质：
$H(Y|X) = H(X,Y)-H(X)$

其中，当熵和条件熵由数据估计（极大似然估计）得到时，对应的熵和条件熵分别称为经验熵和经验条件熵。

信息增益（互信息）

信息增益 $g ( X , Y )$ 表示已知特征 $X$ 的信息而使得类 $Y$ 的信息的不确定性减少的程度。
特征 $Y$ 对训练集 $X$ 的信息增益
$g ( X, Y ) = H ( X ) - H ( X | Y )$
即，集合 $X$ 的经验熵 $H (X)$ 与特征 $Y$ 给定条件下 $Y$ 的经验条件熵 $H ( X | Y )$ 之差。

熵、联合熵、条件熵、互信息的关系

下面的图解释了熵、联合熵、条件熵、互信息的关系
[图片上传失败...(image-e719cf-1550004845982)]
可以得到互信息的一个性质
$I(X;Y) = H(X) + H(Y) - H(X,Y)$
$I(X;Y) = H(X) - H(X|Y)$
$I(X;Y) = H(Y) - H(Y|X)$

交叉熵

衡量两个概率的符文p和q对事件X的相似性
$H(p,q) = -\sum_x p(x)log q(x)$
交叉熵衡量两个概率分布p和q对事件X的相似性，按理来说，两分布越相似，交叉熵越大

实际上，有一个性质： $H(p, q) >= H(p)$ , 当q为真实分布p时取等号。这是因为用错误的分布q得到的平均编码长度H(p,q)大于根据真实分布p得到的平均编码长度H(p)（直观理解）。

交叉熵衡量两个概率分布p和q对事件X的相似性，按理来说，两分布越相似，交换熵越大。但这里的“相似性”是指如果两分布相同，H(p, q) = H(p)，取最小值；而两分布不相似，H(p, q) > H(p)，取值比 H(p) 大。所以，是反过来的，即两分布越相似，交换熵越小。
由于交叉熵衡量两个概率分布p和q的相似性，因此常常用于神经网络的损失函数。
交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数（MSE）学习速率降低的问题，因为使用MSE代价函数时在sigmoid输出饱和时学习速率(梯度)与sigmoid导数正相关，这时sigmoid导数趋于0，即很小，而使用交叉熵代价函数时学习速率与误差正相关，误差越大，学习速率越大，但与sigmoid导数无关，只被输出误差所控制。

另外在分类问题上；
以二分类举例为例，设置概率： $q_(y=1) =\hat{y}，q_(y=0) = 1- \hat{y}$
$H(p,q) = -\sum_i p_i log(q_i) = -ylog(\hat{y})-(1-y)log(1-\hat{y})$

相对熵(KL散度)

$KL(p||q) = -\sum_x p(x)log \frac{q(x)}{p(x)}$
熵、交叉熵、相对熵性质
$\begin{align} H(p,q) &= -\sum_x p(x)log q(x) \\\ &= -\sum_x p(x)log p(x) -\sum_x p(x)log \frac{q(x)}{p(x)} \\\ &= H(p) + KL(p||q) \end{align}$
也就是交叉熵=熵+相对熵
相对熵（KL散度）性质：

由于KL散度衡量两个概率分布p和q对事件X的不相似性，因此两分布越不相似，KL散度值越大。
如果两分布相同，则KL散度值为0。KL散度非负且非对称。
KL散度可应用于生成式对抗网络GAN（衡量两个分布）。

信息论概念汇总
总结下机器学习中的各种熵自信息对事件不确定性的度量熵熵表示随机变量不确定性的度量。设是一个取有限个值的离散...
什么是信息熵？
1948 年，伟大的信息论之父香农（Shannon）将热力学中熵的概念引入到了信息论中，提出了“信息熵”这一概念。...
信息论概念
熵熵是信息论的基本概念，又称为自信息，描述一个信息的不确定性。定义式如下：其中约定，当x = 0 时候，熵越大，...
《熵减：华为活力之源》读书总结
熵本是热力学第二定律的概念，信息论鼻祖香农将其引入至信息论去度量信息，开创了信息论，奠定了通信及信息革命的理论基础...
交叉熵
信息论：交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。信息量：首先是信息量。假...
信息论，熵，KL散度，交叉熵
信息论交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。 1 信息量首先是信息量。假设我...
你有你的计划世界另有计划之一个基于信息论的人生观
信息论是现代世界非常重要的一种概念。信息论并不仅仅是技术理论，更是一种具有普世价值的思想。了解了信息论，你就多了一...
交叉熵——我们如何评估差异
前言机器学习的本质是信息论。在信息论中，首先我们引入了信息熵的概念。认为一切信息都是一个概率分布。所谓信息熵，就...
概念汇总
1.傅盛的认知四层次2.达克效应3.mvp（最小可实施性产品）4.金字塔原理（ MECE法则）5.埋雷计划6.紫...
信息论基础概念理解
近一段时间继续在学习吴军老师的《信息论40讲》，刚好学到信息的起源这一步氛围，其中有一些概念比较难以理解，在此梳理...