美文网首页
信息论的理解

信息论的理解

作者: de水 | 来源:发表于2018-09-09 21:36 被阅读0次

        香农信息论对信息下了个很聪明的定义:信息量不取决于信息的长度,而在于减少了多少不确定性。

        比如,32576里每个数都是确定的,意味着排除了所有不确定性,不可删减; 而”那个红红的大苹果肯定很好吃。”这句话里的“红红的大”和“肯定”六个字对排除不确定性帮助不大,信息量小,所以整句话可压缩成“那个苹果很好吃”也不会影响主要信息。

        另外,同一信息在接收第一遍和第二遍所蕴含的信息量也是不同的,往往第一次信息量多于第二次,因为第一次已经获得的信息在第二次就不再进一步排除不确定性了,只有那些还没注意到的或没理解的新信息才能为第二次排除不确定性,才是信息。平时看书也都是这个特点,第二遍看比第一遍看更快,更好理解,那是因为第二遍书中的信息量对于看书的人来说比第一遍少了。

        有些事物蕴含的信息浓度很高,有些蕴含的偏低,那何种更好呢?这要取决于愿意付出多少时间精力,若是时间充裕,也愿意花精力,那么高浓度的当然更适合,反之时间不足或也不太想多费精力,则信息浓度低些更好了。

        比如古代信息传输困难,而大家也都习惯把文字反复诵读理解其中意思,文言文就是最佳选择;现代互联网等通信工具高度发展,信息已经泛滥,时间、精力以及耐心都匮乏的情况下文言文那种信息量巨大,不易消化理解的表达方式就很不合适了,甚至连白话文都不够,很多都以语音、图文结合或视频的方式传播了。

        传递的信息量和接收的信息量之间是有损耗的,原因在于一方面传递速度太快接收不及,另一方面信息的接收难度太大太费精力。因此,我们为了减少信息损耗常常是要做到反复接收,咬牙坚持的。

        冗余信息也是有作用的,它可以在信息受损时拯救恢复正确信息,让信息的抗打击能力增强。比如一段话中有时候抠去几个字,我们仍然可以通过剩下来的字顺利理解主要意思,就如本段文字。

相关文章

  • 信息论的理解

    香农信息论对信息下了个很聪明的定义:信息量不取决于信息的长度,而在于减少了多少不确定性。 比如,3...

  • 信息论基础概念理解

    近一段时间继续在学习吴军老师的《信息论40讲》,刚好学到信息的起源这一步氛围,其中有一些概念比较难以理解,在此梳理...

  • 有哥学习笔记:信息论最后三讲:要点要点(7-21更187)

    信息论最后三讲: 信息论,控制论,系统论 第38讲:信息论的应用: 在这个模块中,我们重点讲了信息论在五个方面的应...

  • 信息论学习

    信息论 香农信息论的“信息”并不包含意义。信息论传递的是信息/消息/讯息/信号,其中:(1)消息/讯息是信息的载体...

  • 信息论中的熵和惊异

    @[toc] 信息论基础 信息论涉及编码、解码、发送以及尽可能简洁地处理信息或数据。 熵 信息论的核心思想是量化数...

  • 深刻学《吴军·信息论40讲》1——你的情报工作比赚钱重要

    深刻学《信息论》1——你的情报工作比赚钱重要 深刻学信息论 说明:以下内容是得到app课程——吴军·信息论的学习笔...

  • 从信息论看机器学习

    从信息论鼻祖香农1948年创立信息论起,信息论有了坚实的数学基础,人类拉开了信息时代的序幕。 人工智能或者说机器学...

  • 《熵减:华为活力之源》读书总结

    熵本是热力学第二定律的概念,信息论鼻祖香农将其引入至信息论去度量信息,开创了信息论,奠定了通信及信息革命的理论基础...

  • 03-随笔

    最近在得到,跟着吴军老师学习《信息论》,今天讲到冗余度。语言中,冗余度有几个好处:便于理解,消除歧义,信息的容错性...

  • 你有你的计划世界另有计划之一个基于信息论的人生观

    信息论是现代世界非常重要的一种概念。信息论并不仅仅是技术理论,更是一种具有普世价值的思想。了解了信息论,你就多了一...

网友评论

      本文标题:信息论的理解

      本文链接:https://www.haomeiwen.com/subject/mbndgftx.html