随机变量变换后的互信息量（Mutual Information）

作者: JamesPang_4841 | 来源:发表于2018-12-17 13:20 被阅读0次

已知2组随机变量X，Y有分布函数P(X,Y)，
做变换将X-》K，Y-》L，其中
P(K|X,Y)=P(K|X)
P(L|X,Y)=P(L|Y)=S(L,Y)
也就是说K只是X的变换，L只是Y的变换，

求证互信息量：
I(X,Y) >= I(K,L)

证明如下：

设
P(X,Y)=P
P(K|X)=R(K,X)
P(L|Y)=S(L,Y)
联合分布P(X,Y,K,L)=R*S*P
D=I(X,Y) - I(K,L) =

$\int_{-\infty}^{\infty} RSP\ln [\frac{PP_{k}P_{l} }{P_{kl}P_{x}P_{y}} ] \mathrm{d}x{d}y{d}k{d}l$

根据引理：

$\therefore\begin{equation}\begin{aligned} D &\geq \int_{-\infty}^{\infty} RSP(1-\frac{P_{kl}P_{x}P_{y} }{PP_{k}P_{l}} ) \mathrm{d}x{d}y{d}k{d}l \\&=1- \int_{-\infty}^{\infty} RSP(\frac{P_{kl}P_{x}P_{y} }{PP_{k}P_{l}} ) \mathrm{d}x{d}y{d}k{d}l \\\end{aligned}\end{equation}$

因为 $\begin{equation}\begin{aligned}P_{k}=\int_{-\infty}^{\infty} RP_{x} \mathrm{d}x \\P_{l}=\int_{-\infty}^{\infty} SP_{y} \mathrm{d}y \\\end{aligned}\end{equation}$

所以
$\begin{equation}\begin{aligned}\int_{-\infty}^{\infty} RS(\frac{P_{kl}P_{x}P_{y} }{P_{k}P_{l}} ) \mathrm{d}x{d}y{d}k{d}l&= \int_{-\infty}^{\infty} S(\frac{P_{kl}P_{y} }{P_{k}P_{l}} ) \mathrm{d}y{d}k{d}l \int_{-\infty}^{\infty}R P_{x} \mathrm{d}x\\&= \int_{-\infty}^{\infty} S(\frac{P_{kl}P_{y} }{P_{k}P_{l}} ) \mathrm{d}y{d}k{d}l P_{k}\\&=\int_{-\infty}^{\infty} (\frac{P_{kl} }{P_{k}P_{l}} ) \mathrm{d}k{d}l P_{k}\int_{-\infty}^{\infty}S P_{y}\mathrm{d}y \\&=\int_{-\infty}^{\infty} (\frac{P_{kl} }{P_{k}P_{l}} ) \mathrm{d}k{d}l P_{k} P_{l}\\&=\int_{-\infty}^{\infty} P_{kl} \mathrm{d}k{d}l =1\end{aligned}\end{equation}$

D>=0得证。

推广到多维的Total Correlation也成立。

随机变量变换后的互信息量（Mutual Information）

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读