前言:自己一直很懊悔,初中时因厌恶数学老师,跟其做对,然后被他暴打一顿,本来不错的数学因此一落千丈,高中便选择了文科。 自此,数学就没有及格过。若是在初中时,遇到吴君军大神的这本书,对数学的兴趣一定陡生。
第一部分:信息论
看了这本书最值得分享的,就是信息论。总觉得这门学问,有着难以言表的强大,好吧,我又在瞎逼逼地废话了。
香农是谁?
香农.png信息论的开创者是香农博士,生于1916年,我认为他最牛逼的地方是提出了一套测量信息的方法。
大家想想看,
我们每天走了多少路,可以测量距离,使用步数;想知道我们自己的体重,可以测量重量,使用重量单位,如kg;
那我们每天交流的信息呢,有多少的量呢,该怎么测量呢?
香农说,我们可以测量信息中的熵值,单位是比特。
他在1948年,通信的数学原理,这篇论文中,正式提了出来,之后信息论发展成为显学,深深影响了之后的时代,当然,我们现在所处的信息科技时代,更是站在了香农这位巨人的肩膀上的。
如何测算信息的量呢?
如果我告诉你两个信息:
- 太阳从东边出来。
- 明天会出太阳,是晴天。
你觉得哪个信息的信息量更大呢?
首先,太阳从东边出来,是你本来就知道的信息,所以这个对你来讲,一定算不得有信息量;
但是,你不知道明天的天气是晴天,还是雨天,我告诉了你,明天是晴天,你可以不用准备一把伞了,这对于你来讲,一定比上一条信息更有价值,我们可以理解为,第二条信息更有信息量。这个我想大家不会有太大的争议。
那么,请问,这两条信息之间的差别到底是什么?
那就是不确定性。
如果,我问你"太阳从哪边出来?",从你脑海中只有一个可能的选项:东边。 你不需要引入其他的信息,就能回答这个问题。
但如果,我问你"明天的天气怎样?",你脑海中会有晴天,阴天,雨天,雪天。。。,至少5个可能性的选项,此时的状态可以称为充满5种不确定性。
而我告诉你明天是晴天,是不是相当于直接帮你消除了4种不确定性,那么我这段信息的量肯定远高于第一种啊。
所以,可以简单总结为:
想知道一条信息的信息量大小,就去测量其中不确定性的多少。 (就如想知道一辆车性能如何,可以去测他的行驶速度。)
这点理解后,那么我们该如何去精确地计算一段信息中的量,有多少单位呢? 或者更官方地说,其信息量有多少比特呢?
世界杯那咱们来回答这样一个问题吧:
世界杯足球赛,入围的一共有32只球队,但你并没有看比赛,却又想知道冠军是哪只球队,你能猜出哪只是冠军球队吗?
如果你没有任何足球常识的话,那么这个问题的答案,就有32个可能性选项,你需要引入足够的信息,消除掉其中的31个可能性选项。
(引入信息,消除不确定性)
好吧,虽然你没看比赛,但是我看了,我知道结果,所以你来问我到底谁是冠军?
但,俺是一个爱钱的人,所以我让你猜,然后只提示你,猜测得对还是不对,但是你每猜一次,我就收你一块钱? 那么,你要花多少钱,才能猜到呢?
如果你凭感觉猜得话,最多可能会花32元,当然一下命中的话,只需要花1元钱。
不过,如果你对足球和各大球队,一点都不了解的话,有一种方法,能够保证只花5块钱,绝对能猜出来。
你把32支球队,从1到32编上号。对半分成两组,即1-16号为A组,17-31号为B组,然后问我:冠军在A组吗? 如果我回答是,你就把A组再对半分组,继续问;当然,我回答不是,你就把B组对半分组,继续问,重复这个过程,只需要问5次,就会得到最终结果。
然后,你开心地给我5块钱。
根据信息论,这5块钱就是这条消息的信息量。
当然,信息的单位不是钱,而是比特。
严格来说,这条消息的信息量,就是5比特。
当然,如果你具备足球常识,知道冠军球队只会在西班牙,巴西,德国,意大利这些强队中产生,那么你可能只需要两三元就能猜到,也就说这条消息的信息量对于懂足球的人来说,就更低了。
也许有好奇宝宝会问,"你这样也没有告诉我,到底如何计算一条信息的信息量啊?"
还是回到刚才的猜球队的例子,我们从32支球队中,猜出冠军,花了5次分组核实。 那你知道,这个32和5,之间是什么关系吗?
2^5=32
如果你还记得一点对数log的概念,那么信息论的大门就被你打开了。
log^32=5
信息量的比特数就等于所有可能情况的对数。
好吧,记住这个公式
H=-(p.log^p)
通过这个公式,就能准确计算出一段信息的信息量有多少啦。
网友评论