信息熵

作者: 无内 | 来源:发表于2020-12-11 19:53 被阅读0次

到了20世纪中期,决定我们这个星球文明程度的主要动力从能量转换为了信息。无论是心理学、人类学还是认知科学,归根结底研究的都是通信。

香农告诉大家,所谓信息的含义根本不重要,甚至很多信息就没有含义。所谓信息,不过是对一些不确定性的度量。一个信息源,比如我们的大脑,它不过是利用不同的概率产生讯息。

如果我们想要了解一个人脑子里的想法,可以向他提出猜测,比如问他“你想说的话里面,第一个字母是否是T”,他可以给你肯定或者否定的答复。当你确定了第一个字符后,可以用同样的方法向他询问,继续确定第二个字符是什么。在这个过程中,你每问一个问题并且得到答案,就获得一比特的信息,当你获得足够的信息后,你就清楚了对方脑子里的想法,也就是消除了所有的不确定性。

这样一个通过不断问问题得到答案的实验,后来被称为香农实验。在这个实验的过程中,当我们知道了前几个字符后,越往后问,需要问的问题数量就越少。香农解释说,这是因为在语言中有信息的冗余,也就是说,前面的信息在一定程度上包含了后面的信息。当然,最后你所问问题的总数,不可能小于某一个特定的值,这个值就是语言内在的“熵”,或者叫“信息熵”。熵在物理学上,是物质微观热运动时,混乱程度的标志。物质的熵是物质的混乱程度,信息熵就表示信息的不确定度。这是一个非常聪明的类比,正是这个类比。推动了整个21世纪从能量向信息的传递转移。

信息熵,建立起了我们对这个世界新的看法:不确定性是我们这个世界所固有的特性,不要试图否定它;要消除不确定性,就需要大量的信息。

我们的社会迈入了信息时代,信息时代是信息爆炸的时代,是比以往更确定的时代,也是比以往更不确定的时代。

在二战之前,衡量经济发展和科技进步,最简单直接的指标是物质和能量的总量,而在今天,这个指标已经变成了信息。信息熵越低,说明这个社会效率很高,经济越发达。反之,社会效率低下,经济比较落后。所以发展经济,就是要多沟通,多协调,尽快落实规则,减少信息熵。

人类社会还刚刚处在信息爆炸的初级阶段。信息的不确定性和稀缺性将是长期的。未来,随着信息熵的不确定性,越来越低。人们对社会对未来的把握就会越来越大。终有一天到信息熵降到一定程度的时候,人类对于这个星球这个宇宙的认知,就会到达一个全新的高度。生命以负熵为生,人类智慧也是以负熵为生。

相关文章

  • 熵、条件熵、信息增益(互信息)

    信息增益 首先明确一点,信息熵是信息量的期望!期望!期望!(各种信息熵都是如此,像熵、条件熵、信息增益)熵:表示随...

  • 一文理解机器学习中的各种熵

    本文的目录组织如下: 【1】自信息【2】熵(香农熵)【3】联合熵【4】条件熵【5】互信息(信息增益)【6】 熵、联...

  • ID3与C4.5算法

    写在开始 在开始决策树算法之前,我们需要准备一些信息论的知识: 信息熵 条件熵 信息增益 交叉熵 相对熵 信息熵 ...

  • 决策树算法梳理

    信息论基础(熵 联合熵 条件熵 信息增益 基尼不纯度) 信息熵:信息熵是度量样本集合纯度常用的一种指标。在信息论中...

  • 信息熵(香农熵)、条件熵、信息增益的简单了解

    信息熵(香农熵) 1948年,香农提出了 “信息熵(entropy)”的概念信息熵是消除不确定性所需信息量的度量,...

  • 信息熵与最大熵模型

    信息熵是什么?机器学习入门:重要的概念---信息熵(Shannon’s Entropy Model)信息熵信息论中...

  • 机器学习之决策树

    信息熵: 信息熵描述信息源的不确定程度,信息熵越大、越不确定. 信息熵公式: 例子: 假设中国乒乓球队和巴西乒乓球...

  • 熵之道

    熵的定义如下: 互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵; 互信息和信息增益理...

  • 联合信息熵和条件信息熵

    下面这几个熵都是描述联合分布中的两个变量相互影响的关系。 联合信息熵 联合信息熵的定义如下: 条件信息熵 条件信息...

  • cross entropy交叉熵和ground truth总结

    一.cross entropy 交叉熵 交叉熵的概念得从信息熵的概念说起,我们都知道信息熵,简而言之就是信息量多少...

网友评论

    本文标题:信息熵

    本文链接:https://www.haomeiwen.com/subject/mkjdgktx.html