美文网首页
Oct.08 《信息简史》3-2:香农的信息论2

Oct.08 《信息简史》3-2:香农的信息论2

作者: 北京杜豆豆 | 来源:发表于2020-10-08 05:00 被阅读0次

文/杜豆豆


(接上篇)

4

那信息是什么?香农说,“信息是不确定性,是出人意料,是困难程度,是熵。”

不确定性就譬如,你写了个字母,下一个字母是什么,这是无法确定的。出人意料的涵义,则是指如果你说了上句别人知道下句,那这句话就是没有信息量的废话,只有出人意料,才表明存在信息。困难程度也同理。至于熵,则是指信息的无序性。

用更浅显的理解表达就是,太简单的都是废话,复杂难懂才叫信息。

香农1948年那篇著名的论文《通信的数学理论》,讲明白的最基本问题,就是:什么是通信?通信传递的不是某种意义,而是复现的信息。通讯模型的组成包括:信源,发送器,信道,接收器,信宿。还有一个干扰因素:噪声。有了概念和模型,任何一种信号,只要能满足模型的条件,都可以采用信息论中的理论来进行研究和分析。

香农给出了计算讯息熵的公式,发明了新的单位比特,使用了度量冗余度的新方法,展示了一种适用于无噪信道的算术编码,得出了一系列惊人的基本结论。比如,被称为香农限的信道容量公式;纠错编码方案的存在。

而且,香农还洞见了真空晶体管存储的力量,他把它称为“固态放大器”。我们不要忘了,香农还曾经研究过基因,他在当时已经意识到了人类基因就是个信息仓库。

5

说到这里,另一个伟大人物要登场了,他就是诺伯特 • 维纳。

维纳在他的控制论里说,他要整合通信和控制的研究,研究人类和机器的行为和反应。人类有自主性,机器是被控制的,从输入到输出,会得到反馈。反馈分为正反馈和负反馈。一味正反馈,未必是好事,要有负反馈相平衡,系统才能保持稳定。因此,负反馈是无所不在的。

这样推出的结论是,信息是控制的基础,一切信息传递都是为了控制,而控制有赖于信息反馈来实现。

但假想,如果人类出现神经失调,反馈机制有问题了,控制信号是来自外部还是内部呢?

再往深了想,这个问题就变成了:机器能思考吗?计算机和人类的神经系统到底有什么异同?大脑思考靠的是什么?

维纳说,大脑思考,靠的既不是物质,也不是能量,而是信息。

维纳还在一次学术交流会上提出:想想人类学、心理学、神经学,所有这些科学,尤其是社会科学,说到底都是通信,是信号的传递促成了行为,让人类能够思考。

香农也参加了这次会,并展示了他著名的“老鼠迷宫”,目的就是为了让人们理解,老鼠是可以通过对信息的掌握形成思维模式的。

图灵则提出了“图灵测试”,通过提问判断来说明机器会不会思考的问题。

这样看来,形成心智的基本要素,原来是信息啊。这样的认知革命,使心理学、计算机、哲学、科学等都发生了转向,直接催化了许多社会学科的发展。

6

前面,我们提到香农对信息的定义。香农说,信息是熵。

“熵”这个字,我个人理解,有些类似中国的“易”。猛一听很深奥,其实讲的是“变化”。虽然最早是用来描述能量的,但很有点哲学意味。

在热力学上,能量有三条定律:一是能量守恒和转化;二是熵恒增;三是绝对零度不可能达到。

“熵”指的就是能量的不可用程度。若延伸到宇宙,则表明宇宙在能量守恒的同时,其宿命是不断衰竭的,我们最终的结局是熵的最大化状态。

难不成宇宙会走向灭亡吗?这个结论让很多人都陷入了困惑。

好在也有反对的声音,麦克斯韦就是其一。他提出了麦克斯韦方程组,认为分子的运动,是一种无序的状态,从高温到低温的传递,是从有序到无序的变化。无序的状态远多于有序的状态。

他还提出了一个思想实验,设想了一个有限的存在物,可以控制分子的快慢走向,从而让冷的走向热的,让熵降低。这个存在物不遵从普通概率。后来,有人就给这个存在物起了个名字,叫做“麦克斯韦妖”

麦克斯韦

7

如果"妖”成立,那永动机岂不是就可以实现了?不过这个设想,很快就被一位爱因斯坦的学生齐拉特推翻了。因为,信息不是免费的。每处理一个粒子,就是信息跟能量之间的转换,就会增加熵。

熵度量的是一条讯息的不确定程度。香农说,信息是熵;而维纳和香农观点的不同是,信息是负熵。借香农的原话就是:“集合越大,产生的信息越多;而你(维纳)考虑的是,集合越大,不确定性越高时,对于该情况的知识就越少,因而信息也就越少。”

有熵又有妖,两个原理背道而驰,到底 该信哪个呢?“妖”这种小概率事件存在吗?

到20世纪,科学家们在细胞膜的研究中,发现了一种特殊现象:活细胞是通过细胞膜吸收过滤外界物质,并在内部进行加工处理的。这个过滤过程,是可以主动筛选的。

量子物理先驱薛定谔还有进一步的思考,生命是什么?我们按照自己的想法去改造世界;我们生命体的循环代谢,基因繁殖,不都是从无序走向有序的典范吗?

生命体就是负熵,是在从周围环境中汲取秩序,并在体内通过染色体进行存储和延续。

生物学被引入了熵计算,并带来了人们对生命编码的思考。

都是些什么样的思考呢?下次讲。

(未完待续)

原创不易,转载请注明出处。如果您觉的文章有用,别忘了在文末点赞哦。图片来自网络,如有侵权,请联络删除。谢谢!

倾一生之力,读经典好书,写有厚度的文字,过有深度的人生。我是杜豆豆,感谢您的关注。

作者简介:杜豆豆,IT从业20余年,曾先后研修英语、计算机、美学和心理学专业。早年创过业,后就职多家全球知名IT外企,现工作于某研究院。书痴一枚,闲时码码字。兼任多家平台签约作者,简书会员合伙人,万卷好书工作室、万卷好书读书会创立人。

相关文章

  • Oct.08 《信息简史》3-2:香农的信息论2

    文/杜豆豆 (接上篇) 4 那信息是什么?香农说,“信息是不确定性,是出人意料,是困难程度,是熵。” 不确定性就譬...

  • 《信息简史》3-2:香农的信息论(下)

    《100本互联网人必读》系列:《信息简史》3-2:香农的信息论(下) 文/杜豆豆 倾一生之力,读经典好书,写有厚度...

  • 信息论学习

    信息论 香农信息论的“信息”并不包含意义。信息论传递的是信息/消息/讯息/信号,其中:(1)消息/讯息是信息的载体...

  • 《信息简史》3-1:香农的信息论(上)

    《100本互联网人必读》系列:《信息简史》3-1:香农的信息论(上) 文/杜豆豆 倾一生之力,读经典好书,写有厚度...

  • Episode 8:信息的传递与接收 | 香农第二定理

    信息的传递 谈到信息不得不提信息论的创始人香农,本篇讲述的主题信息传递就跟他的香农第二定理相关。 香农第二定理: ...

  • 从信息论看机器学习

    从信息论鼻祖香农1948年创立信息论起,信息论有了坚实的数学基础,人类拉开了信息时代的序幕。 人工智能或者说机器学...

  • 《熵减:华为活力之源》读书总结

    熵本是热力学第二定律的概念,信息论鼻祖香农将其引入至信息论去度量信息,开创了信息论,奠定了通信及信息革命的理论基础...

  • 浪潮之巅-读书摘抄

    AT&T 1、二战中,贝尔的香农提出的信息论,信息论是整个现代通讯的基础; 2、Unix操作系统和C语言的发明人汤...

  • 香农信息论笔记

    香农到底解决了什么问题? 三个基本概念:信源熵,信道容量,率失真函数 三个极限定理:无失真信源编码,限失真信源编码...

  • 什么是信息熵?

    1948 年,伟大的信息论之父香农(Shannon)将热力学中熵的概念引入到了信息论中,提出了“信息熵”这一概念。...

网友评论

      本文标题:Oct.08 《信息简史》3-2:香农的信息论2

      本文链接:https://www.haomeiwen.com/subject/ujcxpktx.html