信息论基础（熵，互信息，交叉熵）

作者: 老羊_肖恩 | 来源:发表于2019-07-19 14:43 被阅读0次

1 熵

1.1 自信息和熵

熵（Entropy）最早是物理学的概念，用于表示一个热力学系统的无序程度。1948年，香农将统计物理中熵的概念，引申到信道通信的过程中，从而开创了”信息论“这门学科。香农定义的“熵”又被称为“香农熵” 或 “信息熵”。在信息论中，熵用来衡量一个随机事件的不确定性。假设对一个随机变量 $\small X$ （取值集合为 $\small \chi$ ，概率分布为 $\small p(x), x ∈ \chi$ ）进行编码，自信息（Self Information） $\small I(x)$ 是变量 $\small X = x$ 时的信息量或编码长度，定义为
$I(x)=-\log p(x)$ 那么随机变量 $\small X$ 的平均编码长度，即熵定义为：
$H(x) = \sum_{x \in \chi}p(x) \log p(x)$ 其中当 $\small p(x_i) = 0$ 时，我们定义 $\small 0\log 0=0$ ，这与极限一致， $\small \lim_{p→0+} p \log p = 0$ 。
熵是一个随机变量的平均编码长度，即自信息的数学期望。熵越高，则随机变量的信息越多；熵越低，则信息越少。如果变量 $\small X$ 当且仅当在 $\small x$ 时 $\small p(x) = 1$ ，则熵为0。也就是说，对于一个确定的信息，其熵为0，信息量也为0。如果其概率分布为一个均匀分布，则熵最大。下图展示了一个二元信源的熵函数：

二元信源熵函数

1.2 联合熵和条件熵

对于两个离散随机变量 $\small X$ 和 $\small Y$ ，假设 $\small X$ 取值集合为 $\small\chi$ ； $\small Y$ 取值集合为 $\small \upsilon$ ，其联合概率分布满足为 $\small p(x, y)$ ，则
$\small X$ 和 $\small Y$ 的联合熵（Joint Entropy）为
$H(X,Y) = -\sum_{x \in \chi} \sum_{y \in \upsilon} \log p(x,y)$ 联合熵的物理意义是:观察一个多个随机变量的随机系统获得的信息量。观察一个多个随机变量的随机系统获得的信息量。
$\small X$ 和 $\small Y$ 的条件熵（Conditional Entropy）为
$\begin{align} H(X|Y) & = -\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x|y) \\ & = -\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log \frac{p(x,y)}{p(y)} \\ & = -(\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x,y) - \sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(y))\\ & = -(\sum_{x \in \chi} \sum_{y \in \upsilon} p(x,y) \log p(x,y) - \sum_{y \in \upsilon} p(y) \log p(y))\\ & = H(X,Y) - H(Y) \end{align}$ 条件熵的物理意义就是：在得知某一确定信息的基础上获取另外一个信息时所获得的信息量。

2 互信息

互信息（Mutual Information）是衡量已知一个变量时，另一个变量不确定性的减少程度。两个离散随机变量 $\small X$ 和 $\small Y$ 的互信息定义为
$I(X,Y) = \sum_{x \in \chi}\sum_{y \in \upsilon}p(x,y) \ log \frac{p(x,y)}{p(x)p(y)}$ 互信息的一个性质为
$\begin{align} H(X;Y)& = H(X) - H(X|Y)\\ &=H(Y)-H(Y|X) \end{align}$ 如果 $\small X$ 和 $\small Y$ 互相独立，即 $\small X$ 和 $\small Y$ 之间互相不提供任何信息，反之亦然，因此他们的互信息为0。

3 交叉熵和相对熵

3.1 交叉熵

现在有关于样本集的两个概率分布 $\small p(x)$ 和 $\small q(x)$ ，其中 $\small p(x)$ 为真实分布， $\small q(x)$ 非真实分布。如果用真实分布 $\small p(x)$ 来衡量识别别一个样本所需要编码长度的期望（平均编码长度）为:
$H(p)=-\sum _x p(x) \log p(x)$ 如果使用非真实分布 $\small q(x)$ 来表示来自真实分布 $\small p(x)$ 的平均编码长度，则是：
$H(p,q) = -\sum_x p(x) \log q(x)$ 因为用 $\small q(x)$ 来编码的样本来自于分布 $\small p(x)$ ，所以 $\small H(p,q)$ 中的概率是 $\small p(x)$ 。此时就将 $\small H(p,q)$ 称之为交叉熵。在给定 $\small p$ 的情况下，如果 $\small q$ 和 $\small p$ 越接近，交叉熵越小；如果 $\small q$ 和 $\small p$ 越远，交叉熵就越大。

3.2 相对熵（KL散度）

$\small KL$ 散度（Kullback-Leibler Divergence），也叫 $\small KL$ 距离或相对熵(Relative Entropy)，是用概率分布 $\small q$ 来近似 $\small p$ 时所造成的信息损失量。 $\small KL$ 散度是按照概率分布 $\small q$ 的最优编码对真实分布为 $\small p$ 的信息进行编码，其平均编码长度 $\small H(p,q)$ 和 $\small p$ 的最优平均编码长度 $\small H(p)$ 之间的差异。对于离散概率分布 $\small p$ 和 $\small q$ ，从 $\small q$ 到 $\small p$ 的KL散度定义为:
$\begin{align} D_{KL}(p||q) &= H(p,q) - H(p)\\ &=\sum_x p(x) \log \frac{p(x)}{q(x)} \end{align}$ 其中为了保证连续性，定义 $\small 0 \log \frac{0}{0} = 0, 0 \log \frac{0}{q} = 0$ $\small KL$ 散度可以是衡量两个概率分布之间的距离。 $\small KL$ 散度总是非负的， $\small D_{KL}(p||q) ≥ 0$ 。只有当 $\small p = q$ 时， $\small D_{KL}(p||q) = 0$ 。如果两个分布越接近， $\small KL$ 散度越小；如果两个分布越远， $\small KL$ 散度就越大。但 $\small KL$ 散度并不是一个真正的度量或距离，一是 $\small KL$ 散度不满足距离的对称性，二是 $\small KL$ 散度不满足距离的三角不等式性质。