数学之美——信息度量和作用

信息量:不确定性多少

度量信息量用比特表示:信息量的比特数与所有可能情况的对数函数有关

汉子等概率时，大约需要13比特考虑每个汉字独立概率大约需要8-9比特考虑上下文相关性，信息熵5比特。

信息的作用:信息是消除系统不确定性的唯一办法。自然语言处理，信息与信号处理的应用都是一个消除不确定性的过程。

互信息:作为两个随机事件"相关性"的量化度量