信息量诠释

如果一种情况发生的可能性大，另一种发生的可能性小，所需要的信息就不到1比特。比如说，一种情况出现的概率是1/3，另一种是2/3，这种情况下消除不确定性的信息量则降低到0.9比特。

在更极端的情况下，比如一种情况有99%的可能性发生，另一种是1%，那么这时的不确定性只有0.08比特了。

信息的这个性质，和我们生活的经验是一致的，大家都知道二者皆50%的可能性最让人头疼。而公众都知道的信息，其实是没有信息量的。这是今天要记住的第二个知识点。