美文网首页
如何衡量一条信息的信息量

如何衡量一条信息的信息量

作者: 一个足够 | 来源:发表于2020-05-07 16:17 被阅读0次

现在我告诉你两条信息

信息A:  演员吴京以主演身份参演了电影《攀登者》的一个角色;

信息B:刘强东在美国被警察拘捕;

假如这两条信息,你都是首次听说。请问直观来讲,你面对这两条信息,那一条信息给你的信息量更大?

我相信你的答案会是B。

那么,为什么会有这样的感受呢?今天我们从信息论的角度来分析下这个现象。

信息论中有一个自信息的概念,衡量一个自信息的信息量公式为

I(x) = -log p(x) 

注:单位为bit,log是2为底

通过公式我们可以明显的看出,如果一个事件发生的概率越低,它的信息量就越大。

通过表格直观感受下,如果一个事件的发生概率为90%,那么他即使发生了,也只能带来0.152bit的信息量。

如果一个事件发生的概率为万分之一,那么这件事一旦发生,他带来的信息量为13.28bit。比90%时,大了约80多倍。

所以,这种小概率事件的发生,更能给人带来冲击。

回到我们一开始的举的两个例子,

吴京本身就是一个优秀的演员,出演哪一步影视作品的主角,再正常不过了,也就是说,吴京以主角身份出演一部影视剧的概率很大(假如是90%),所以,即使你听到了这样一条消息,你也不会觉得有什么特别之处。因为,从信息论角度讲,这条信息只给你带来了0.152bit 的信息量(假如吴京以主角身份出演一部影视剧的概率为90%)。

再来看,刘强东被捕事件。刘强东作为京东的CEO,平时给人以合法、正能量的企业家印象。所以,在美被捕这种情况,发生在他身上的概率看起来会极低。这种情况,一旦发生,带来的信息量巨大。

这也从另外一个角度说明,为什么媒体倾向于报道爆炸性新闻。因为这种新闻都是小概率事件,他们的发生本身会给读者带来巨大的信息量,这样会吸引具体的流程。

最后,我们再来看下信息量概念会给我们生活工作带来哪些启示

我们工作中,为什么应该主动倾向于解决负责的难题。因为问题越负责,能够解决的概率越低,也就是事件发生的概率越低,概率越低,那么一旦解决,信息量就越大。

讲到这里,你内心会想,这么简单的道理,我们都懂,这也没什么新奇的。是的,这篇文章的目的就是将简单的现象复杂化,从信息论硬理论的角度来解释这些现象。唯有思考的时候复杂化,才能在行事的时候简单化。

相关文章

  • 如何衡量一条信息的信息量

    现在我告诉你两条信息 信息A: 演员吴京以主演身份参演了电影《攀登者》的一个角色; 信息B:刘强东在美国被警察拘捕...

  • 交叉熵

    如何衡量不同的分布(系统)?熵。分布的熵如何定义?每个个体的信息量的先验加权和。如何计算信息量?为满足f(AB)=...

  • 信息量和信息熵

    信息量的定义: 信息量度量的是一个具体事件发生所带来的信息,衡量信息量大小就看这个信息消除不确定性的程度; 信息量...

  • 自信息,KL散度(相对熵),交叉熵,JS散度

    一、自信息 信息是一个很抽象的概念,如何衡量一句话或一篇文章的信息量是一个比较难的问题。有时候,人们会说一条新闻信...

  • 信息量、熵和交叉熵

    总结 信息量利用概率倒数的对数对事件的稀缺性进行衡量 熵是一个随机系统信息量的期望 交叉熵用于衡量两个概率分布之间...

  • 信息检索导论二:词项词典及倒排记录表

    文档单位选择 粒度定义:粒度是衡量文本所含信息量的大小。文本含信息量多,粒度就大,反之就小。小粒度:“缠绵”,“崎...

  • 什么是信息量大(信息论)

    信息说到底是用于降低或是消除不确定性的。如果讲的事情大部分大家都知道,信息量就很少。 信息的价值如何衡量? 一是...

  • 如何衡量信息

    生活中,我们会接收到各式各样的信息,有些信息是从亲身经历中获得的,有些是通过网络获取的,我们应对这些信息的方式就构...

  • 信息论 第一讲

    1、香农告诉大家,信息可以衡量,但不是用重要性,而是用信息量,单位是“比特”。—>任何能丈量的事物才能进行有效...

  • 信息熵与交叉熵

    信息熵一条信息的信息量和它的不确定性有关系,对于不知道不了解的事情,所需要的信息量更大。 对于大概率发生的事情的信...

网友评论

      本文标题:如何衡量一条信息的信息量

      本文链接:https://www.haomeiwen.com/subject/ayxaghtx.html