熵、相对熵和互信息（续） —— 读《信息论基础》（四）

其实这里数学已经比较重了，老师为了缓解大家的焦虑，上了一个Roadmap（但我真心觉得可能大部分人并不想回忆起概率论知识）：

由此，我们看看两个随机变量的联合熵：

当然，其另外一个写法就是：

作为对比及拓展：

有了联合熵，下一步就是相对熵：

应用链式法则：

这背后就是概率论中的链式法则。因为之前说过，随机变量本身不重要，重要的是分布，那么链式法则也可以写作：

对应地，也有如下推导：

链式法则的韦恩图表示：