美文网首页
Oct.08 《信息简史》3-2:香农的信息论2

Oct.08 《信息简史》3-2:香农的信息论2

作者: 北京杜豆豆 | 来源:发表于2020-10-08 05:00 被阅读0次

    文/杜豆豆


    (接上篇)

    4

    那信息是什么?香农说,“信息是不确定性,是出人意料,是困难程度,是熵。”

    不确定性就譬如,你写了个字母,下一个字母是什么,这是无法确定的。出人意料的涵义,则是指如果你说了上句别人知道下句,那这句话就是没有信息量的废话,只有出人意料,才表明存在信息。困难程度也同理。至于熵,则是指信息的无序性。

    用更浅显的理解表达就是,太简单的都是废话,复杂难懂才叫信息。

    香农1948年那篇著名的论文《通信的数学理论》,讲明白的最基本问题,就是:什么是通信?通信传递的不是某种意义,而是复现的信息。通讯模型的组成包括:信源,发送器,信道,接收器,信宿。还有一个干扰因素:噪声。有了概念和模型,任何一种信号,只要能满足模型的条件,都可以采用信息论中的理论来进行研究和分析。

    香农给出了计算讯息熵的公式,发明了新的单位比特,使用了度量冗余度的新方法,展示了一种适用于无噪信道的算术编码,得出了一系列惊人的基本结论。比如,被称为香农限的信道容量公式;纠错编码方案的存在。

    而且,香农还洞见了真空晶体管存储的力量,他把它称为“固态放大器”。我们不要忘了,香农还曾经研究过基因,他在当时已经意识到了人类基因就是个信息仓库。

    5

    说到这里,另一个伟大人物要登场了,他就是诺伯特 • 维纳。

    维纳在他的控制论里说,他要整合通信和控制的研究,研究人类和机器的行为和反应。人类有自主性,机器是被控制的,从输入到输出,会得到反馈。反馈分为正反馈和负反馈。一味正反馈,未必是好事,要有负反馈相平衡,系统才能保持稳定。因此,负反馈是无所不在的。

    这样推出的结论是,信息是控制的基础,一切信息传递都是为了控制,而控制有赖于信息反馈来实现。

    但假想,如果人类出现神经失调,反馈机制有问题了,控制信号是来自外部还是内部呢?

    再往深了想,这个问题就变成了:机器能思考吗?计算机和人类的神经系统到底有什么异同?大脑思考靠的是什么?

    维纳说,大脑思考,靠的既不是物质,也不是能量,而是信息。

    维纳还在一次学术交流会上提出:想想人类学、心理学、神经学,所有这些科学,尤其是社会科学,说到底都是通信,是信号的传递促成了行为,让人类能够思考。

    香农也参加了这次会,并展示了他著名的“老鼠迷宫”,目的就是为了让人们理解,老鼠是可以通过对信息的掌握形成思维模式的。

    图灵则提出了“图灵测试”,通过提问判断来说明机器会不会思考的问题。

    这样看来,形成心智的基本要素,原来是信息啊。这样的认知革命,使心理学、计算机、哲学、科学等都发生了转向,直接催化了许多社会学科的发展。

    6

    前面,我们提到香农对信息的定义。香农说,信息是熵。

    “熵”这个字,我个人理解,有些类似中国的“易”。猛一听很深奥,其实讲的是“变化”。虽然最早是用来描述能量的,但很有点哲学意味。

    在热力学上,能量有三条定律:一是能量守恒和转化;二是熵恒增;三是绝对零度不可能达到。

    “熵”指的就是能量的不可用程度。若延伸到宇宙,则表明宇宙在能量守恒的同时,其宿命是不断衰竭的,我们最终的结局是熵的最大化状态。

    难不成宇宙会走向灭亡吗?这个结论让很多人都陷入了困惑。

    好在也有反对的声音,麦克斯韦就是其一。他提出了麦克斯韦方程组,认为分子的运动,是一种无序的状态,从高温到低温的传递,是从有序到无序的变化。无序的状态远多于有序的状态。

    他还提出了一个思想实验,设想了一个有限的存在物,可以控制分子的快慢走向,从而让冷的走向热的,让熵降低。这个存在物不遵从普通概率。后来,有人就给这个存在物起了个名字,叫做“麦克斯韦妖”

    麦克斯韦

    7

    如果"妖”成立,那永动机岂不是就可以实现了?不过这个设想,很快就被一位爱因斯坦的学生齐拉特推翻了。因为,信息不是免费的。每处理一个粒子,就是信息跟能量之间的转换,就会增加熵。

    熵度量的是一条讯息的不确定程度。香农说,信息是熵;而维纳和香农观点的不同是,信息是负熵。借香农的原话就是:“集合越大,产生的信息越多;而你(维纳)考虑的是,集合越大,不确定性越高时,对于该情况的知识就越少,因而信息也就越少。”

    有熵又有妖,两个原理背道而驰,到底 该信哪个呢?“妖”这种小概率事件存在吗?

    到20世纪,科学家们在细胞膜的研究中,发现了一种特殊现象:活细胞是通过细胞膜吸收过滤外界物质,并在内部进行加工处理的。这个过滤过程,是可以主动筛选的。

    量子物理先驱薛定谔还有进一步的思考,生命是什么?我们按照自己的想法去改造世界;我们生命体的循环代谢,基因繁殖,不都是从无序走向有序的典范吗?

    生命体就是负熵,是在从周围环境中汲取秩序,并在体内通过染色体进行存储和延续。

    生物学被引入了熵计算,并带来了人们对生命编码的思考。

    都是些什么样的思考呢?下次讲。

    (未完待续)

    原创不易,转载请注明出处。如果您觉的文章有用,别忘了在文末点赞哦。图片来自网络,如有侵权,请联络删除。谢谢!

    倾一生之力,读经典好书,写有厚度的文字,过有深度的人生。我是杜豆豆,感谢您的关注。

    作者简介:杜豆豆,IT从业20余年,曾先后研修英语、计算机、美学和心理学专业。早年创过业,后就职多家全球知名IT外企,现工作于某研究院。书痴一枚,闲时码码字。兼任多家平台签约作者,简书会员合伙人,万卷好书工作室、万卷好书读书会创立人。

    相关文章

      网友评论

          本文标题:Oct.08 《信息简史》3-2:香农的信息论2

          本文链接:https://www.haomeiwen.com/subject/ujcxpktx.html