美文网首页点心读书会程序员
数学真靠谱--《数学之美》读书笔记

数学真靠谱--《数学之美》读书笔记

作者: Bog5d | 来源:发表于2017-09-14 19:39 被阅读30次

    前言:自己一直很懊悔,初中时因厌恶数学老师,跟其做对,然后被他暴打一顿,本来不错的数学因此一落千丈,高中便选择了文科。 自此,数学就没有及格过。若是在初中时,遇到吴君军大神的这本书,对数学的兴趣一定陡生。

    第一部分:信息论

    看了这本书最值得分享的,就是信息论。总觉得这门学问,有着难以言表的强大,好吧,我又在瞎逼逼地废话了。

    香农是谁?

    香农.png

    信息论的开创者是香农博士,生于1916年,我认为他最牛逼的地方是提出了一套测量信息的方法。
    大家想想看,
    我们每天走了多少路,可以测量距离,使用步数;想知道我们自己的体重,可以测量重量,使用重量单位,如kg;

    那我们每天交流的信息呢,有多少的量呢,该怎么测量呢?

    香农说,我们可以测量信息中的熵值,单位是比特。

    他在1948年,通信的数学原理,这篇论文中,正式提了出来,之后信息论发展成为显学,深深影响了之后的时代,当然,我们现在所处的信息科技时代,更是站在了香农这位巨人的肩膀上的。

    如何测算信息的量呢?

    如果我告诉你两个信息:

    1. 太阳从东边出来。
    2. 明天会出太阳,是晴天。

    你觉得哪个信息的信息量更大呢?

    首先,太阳从东边出来,是你本来就知道的信息,所以这个对你来讲,一定算不得有信息量;

    但是,你不知道明天的天气是晴天,还是雨天,我告诉了你,明天是晴天,你可以不用准备一把伞了,这对于你来讲,一定比上一条信息更有价值,我们可以理解为,第二条信息更有信息量。这个我想大家不会有太大的争议。

    那么,请问,这两条信息之间的差别到底是什么?

    那就是不确定性。

    如果,我问你"太阳从哪边出来?",从你脑海中只有一个可能的选项:东边。 你不需要引入其他的信息,就能回答这个问题。

    但如果,我问你"明天的天气怎样?",你脑海中会有晴天,阴天,雨天,雪天。。。,至少5个可能性的选项,此时的状态可以称为充满5种不确定性。

    而我告诉你明天是晴天,是不是相当于直接帮你消除了4种不确定性,那么我这段信息的量肯定远高于第一种啊。

    所以,可以简单总结为:

    想知道一条信息的信息量大小,就去测量其中不确定性的多少。 (就如想知道一辆车性能如何,可以去测他的行驶速度。)

    这点理解后,那么我们该如何去精确地计算一段信息中的量,有多少单位呢? 或者更官方地说,其信息量有多少比特呢?

    世界杯

    那咱们来回答这样一个问题吧:
    世界杯足球赛,入围的一共有32只球队,但你并没有看比赛,却又想知道冠军是哪只球队,你能猜出哪只是冠军球队吗?

    如果你没有任何足球常识的话,那么这个问题的答案,就有32个可能性选项,你需要引入足够的信息,消除掉其中的31个可能性选项。
    (引入信息,消除不确定性)

    好吧,虽然你没看比赛,但是我看了,我知道结果,所以你来问我到底谁是冠军?

    但,俺是一个爱钱的人,所以我让你猜,然后只提示你,猜测得对还是不对,但是你每猜一次,我就收你一块钱? 那么,你要花多少钱,才能猜到呢?

    如果你凭感觉猜得话,最多可能会花32元,当然一下命中的话,只需要花1元钱。

    不过,如果你对足球和各大球队,一点都不了解的话,有一种方法,能够保证只花5块钱,绝对能猜出来。

    你把32支球队,从1到32编上号。对半分成两组,即1-16号为A组,17-31号为B组,然后问我:冠军在A组吗? 如果我回答是,你就把A组再对半分组,继续问;当然,我回答不是,你就把B组对半分组,继续问,重复这个过程,只需要问5次,就会得到最终结果。

    然后,你开心地给我5块钱。

    根据信息论,这5块钱就是这条消息的信息量。
    当然,信息的单位不是钱,而是比特。
    严格来说,这条消息的信息量,就是5比特。

    当然,如果你具备足球常识,知道冠军球队只会在西班牙,巴西,德国,意大利这些强队中产生,那么你可能只需要两三元就能猜到,也就说这条消息的信息量对于懂足球的人来说,就更低了。

    也许有好奇宝宝会问,"你这样也没有告诉我,到底如何计算一条信息的信息量啊?"

    还是回到刚才的猜球队的例子,我们从32支球队中,猜出冠军,花了5次分组核实。 那你知道,这个32和5,之间是什么关系吗?

    2^5=32

    如果你还记得一点对数log的概念,那么信息论的大门就被你打开了。

     log^32=5
    

    信息量的比特数就等于所有可能情况的对数。

    好吧,记住这个公式
    H=-(p.log^p)
    通过这个公式,就能准确计算出一段信息的信息量有多少啦。

    相关文章

      网友评论

      • 肚财神:同学数据分析,非常棒的文章。:+1: 感谢

      本文标题:数学真靠谱--《数学之美》读书笔记

      本文链接:https://www.haomeiwen.com/subject/fffjsxtx.html