美文网首页
今天聊聊“信息熵”

今天聊聊“信息熵”

作者: 零月浅浅 | 来源:发表于2019-12-28 23:56 被阅读0次

现代信息论的祖师爷,克劳德香农有一个洞见:一个东西信息量的大小,取决于它克服了多少不确定性。

举个例子,有的人生活非常单一,平时去的地方就是公司、家里、吃饭。如果我雇一个特工,帮我观察这个人随时向我汇报他的位置,每次给我的信息无非就是“公司/家里/餐馆”--即使特工今天休息,我猜中他在哪的概率也有三分之一,如果今天是周末--那大概率升到了二分之一。

但是如果这个人非常丰富特别会折腾,今天非洲大草原,明天巴拿马牙买加,我完全猜不到他在哪,那特工给我的信息就非常值钱了。

提供信息之前,这个人的位置对我来说有不确定性,不确定性越大,信息就越有价值。

有一个词叫“信息熵”,它跟物理学里的“熵”的公式及概念几乎一致。物理学里的“熵”描述了一个系统的混乱程度,信息熵也是一样,越看上去杂乱无章的消息,信息熵就越高,信息量就越大。换句话说就是,可供选择的范围越广,选择的信息量就越大。

我们这辈人跟过去的人都有很大区别。以前的人消息闭塞,一辈子被动接收的信息加起来或许没有现在我们一年接收得多,互联网构建了信息的桥梁,把全世界的人们连接在一起,同时改变了过去只有传统媒体可以发声的话语权,人人都可以在网络上留下自己“信息”的时代,使得信息熵成几何倍数增长。

我们每个人对消息处理的响应速度和处理方法、感受到的压力是完全不同的,所以我一直觉得,“抓重点”是这个时代的人非常最需要具备的能力没有之一。从前的人选择很少,就如同前面说到那个生活规律的人,选择的就是“下乡”还是“工作”,“工会”还是“车间”,这往往也不是给你选的。现代人还没毕业可供你选择的生活方式就多得十个手指头都数不过来,更别提各种混淆视听的“新概念”被不断地创造出来,嘿!你读书慢吗?量子波动速读了解一下?

我经常看到大多数人还没机会遇到小BOSS,先被滚滚而来的信息洪流湮没了,这真是个需要有双慧眼的时代,对“选择困难症”特别不友好。

如果把那些并不重要甚至是错误选项的信息全部归结为“信息熵”,那我们要如何才能透过现象看本质,提升自己“抓重点”的能力呢,我认为有以下几点:

1、多读书,提升认知,肚里有货心里不慌,有专业底气才能让自己不会听风就是雨的,大数据时代,我们每个人看到的媒体都是自己喜欢的样子,每个人给你的意见都不同,那你究竟要听谁的?

2、通过不断的复盘去伪求真。复盘是个神一般的技能,不会在同一个问题上栽两次跟头的就是圣斗士了,但是要注意我这里说的是技术、工作上。如果你问了个问题别人没有回从此再也不开口,建议去多读读《反脆弱》。

3、不断学习最新知识,不要很年轻就跟自己说我适合的是这个,其他我做不好。“自己”这个东西不是天生形成的,往往是需要不断的经历尝试,撞到什么又反弹回来,才知道原来自己是这个样子的。我遇到过三十岁开始学芭蕾的姑娘,也遇到过七十岁开始跑马拉松、写文章的老人家。

4、有一种观点是多读小说,少看新闻。作者的观点是,经典小说讲究前因后果和逻辑性,而新闻不同,狗咬人新闻不会报道,报道的都是人咬狗。能上新闻的东西都是小概率事件,不用太纠结于此。

这是关于香农的洞见:一个东西信息量的大小,取决于它克服了多少不确定性。它为我们提供了一种看世界的眼光。能让你做出重大改变的选择,就属于信息量很大,也就是我之前说的“重点”,咱们需要不断精进,来提升自己抓重点的能力。

你再看看身边每天扑面而来的信息流,感觉身边的人为此都焦躁不已。

其实都没什么信息量。

相关文章

  • 今天聊聊“信息熵”

    现代信息论的祖师爷,克劳德香农有一个洞见:一个东西信息量的大小,取决于它克服了多少不确定性。 举个例子,有的人生活...

  • 熵、条件熵、信息增益(互信息)

    信息增益 首先明确一点,信息熵是信息量的期望!期望!期望!(各种信息熵都是如此,像熵、条件熵、信息增益)熵:表示随...

  • 一文理解机器学习中的各种熵

    本文的目录组织如下: 【1】自信息【2】熵(香农熵)【3】联合熵【4】条件熵【5】互信息(信息增益)【6】 熵、联...

  • ID3与C4.5算法

    写在开始 在开始决策树算法之前,我们需要准备一些信息论的知识: 信息熵 条件熵 信息增益 交叉熵 相对熵 信息熵 ...

  • 决策树算法梳理

    信息论基础(熵 联合熵 条件熵 信息增益 基尼不纯度) 信息熵:信息熵是度量样本集合纯度常用的一种指标。在信息论中...

  • 信息熵(香农熵)、条件熵、信息增益的简单了解

    信息熵(香农熵) 1948年,香农提出了 “信息熵(entropy)”的概念信息熵是消除不确定性所需信息量的度量,...

  • 信息熵与最大熵模型

    信息熵是什么?机器学习入门:重要的概念---信息熵(Shannon’s Entropy Model)信息熵信息论中...

  • 机器学习之决策树

    信息熵: 信息熵描述信息源的不确定程度,信息熵越大、越不确定. 信息熵公式: 例子: 假设中国乒乓球队和巴西乒乓球...

  • 聊聊熵

    不知你有没有发现,人们几乎都喜欢懒散又舒适自在的生活。以前我总是在纳闷,难道人就是一种不成器的东西?你还别说,有个...

  • 熵之道

    熵的定义如下: 互信息 = H(D) - H(D|A) 信息增益 = 经验熵 - 经验条件熵; 互信息和信息增益理...

网友评论

      本文标题:今天聊聊“信息熵”

      本文链接:https://www.haomeiwen.com/subject/yeyeoctx.html