熵

作者: DDDDavid | 来源:发表于2018-11-13 15:28 被阅读0次

又称自信息，描述一个随机变量的不确定性的数量。
$H(X)=-\sum_{x \in R}p(x)\log_{2}p(x)$

联合熵

一对随机变量平均所需要的信息量。
$H(X,Y)=-\sum_{x \in X}\sum_{y \in Y}p(x,y)\log p(x,y)$

给定随机变量X的条件下，随机变量Y的条件熵。
$H(Y|X)=-\sum_{x \in X}\sum_{y \in Y}p(x,y)\log p(y|x)$
$H(X,Y)=H(X)+H(Y|X)=H(Y)+H(X|Y)$

知道了Y的值以后X的不确定性的减少量。
$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$

又称KL距离，衡量相同事件空间里两个概率分布相对差距的测度。
$D(p||q)=\sum_{x \in X}p(x)\log \frac{p(x)}{q(x)}$

衡量估计模型与真实概率分布之间差异情况。
$H(X,q)=H(X)+D(p||q)=E_{p}(\log \frac{1}{q(x)})$

代替交叉熵衡量语言模型的好坏。
$PP_{q}=2^{H(L,q)}\approx [q(l_{1}^{n})]^{-\frac {1}{n}}$

本文标题：熵

本文链接：https://www.haomeiwen.com/subject/mlakfqtx.html

备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！