美文网首页
Oct.07 《信息简史》3-1:香农的信息论1

Oct.07 《信息简史》3-1:香农的信息论1

作者: 北京杜豆豆 | 来源:发表于2020-10-07 05:00 被阅读0次

文/杜豆豆


克劳德 • 香农

1

人类开始自觉地理解和利用信息,始于克劳德 • 香农在1948年创立的信息论。

跟着作者,我们领略了非洲土著鼓语的神奇,还有信息史上几个影响深远的关键事件:文字的发明、罗伯特•考德里的第一本英语词典、查尔斯•巴贝奇的差分机与爱达•拜伦的程序、沙普兄弟的信号塔与摩尔斯电码。

电报的发明,让信息更快捷,但是,电报也有缺点。比如要解码、每个字母都要钱、不能双向通话等等。

于是,电话应运而生。

电话的专利权之争还有个逸闻。据说当时是贝尔和格雷两人同时申请的,但贝尔早到了两个小时。还有一个人叫做安东尼奥 • 梅乌奇的,早在1860年就发明了电话原型,可惜没钱申请专利。最后,这专利还是归了贝尔。看来,智商固然重要,运气和财力也不可轻视。

电话和电报相比,在方便性上简直是个飞跃,只要会说话,就能打电话。所以,很快就开始普及。据说从1876年到1880年,仅4年时间,美国就装了6万部点对点的电话。

电话一多,网络就开始不堪负重。于是,交换机在1890年出现了,那时用电话的人有50多万,到1914年,达到了上千万。

庞大的通信网络迅猛扩张,需要新的技术来支持。

工程师们开始研究统一电话和无线电广播技术。他们设计出了真空管中继器,发展出了多路复用技术,发明了电话号码等等,创造了很多非凡的成就。

2

克劳德 • 香农就是在这样的背景下出生的。

他爷爷是个农场主,他打小就喜欢用围牧场的铁丝玩发电报的游戏,上学时还参加乐队、制作飞机模型、投递电报赚零花钱、破解密码。他最喜欢读爱伦坡小说中,破解羊皮纸密码的故事。

后来到了密西根大学读电气工程学和数学,又在麻省理工学院攻读研究生,操作一台叫做微分分析机的机器,实际上就是一台模拟计算机。这台分析机通过继电器控制电路通断,能够控制电话交换机的通话。

他根据研究,用布尔代数描述了电路,并在他的硕士论文中表明,任何电路都可以有一套表达式,并在其中运用演算法。他用0和1来代表表达式的状态,然后引入运算。熟悉吧?这就是二进制算术,是计算机革命的核心。

他发表这篇论文时,还是贝尔实验室的实习生,一个不起眼的研究助理。回到麻省理工后,他居然转入了遗传学,研究基因和染色体,他的博士论文,是理论遗传学的代数。他用字母和数字表示基因分子式,用一种验算法来预测基因组合和杂交的过程。不过,这篇论文最后没有公开发表。

一直都在研究传递信息的一般系统的某些基本属性,认为所有通信系统都可以归结到某种一般形式,并且写成函数。这个函数代表的“在理想的系统中,最终输出将是输入的精确复制。”但是在真实状态下,会有失真。

香农结了婚后,到普林斯顿研读博士后。他开始琢磨逻辑学和数学的融合,希望能创建出一个由符号公式和证明构成的体系,以达到一种严格的形式上的确定性。这是当时很多同行都在追求的目标,但这一目标时不时总会出现悖论。

比如罗素悖论,贝里悖论。大家比较熟悉的理发师悖论——“理发师给所有不是理发师的人刮脸,那他给不给自己刮脸?”生活中可以变通,但放到文字和逻辑里就成了悖论。语言的逻辑当中会出现自相矛盾的结果,这就是罗素悖论。后来,哥德尔证明了罗素悖论的存在,并且提出“数可以用来编码任意形式的推理,表示任何形式的知识。”

3

香农在普林斯顿时,正是战争时期,他接了个和军事有关的项目——高射炮火控系统的数学研究。在做数据处理时,他发现和电话通信中出现的排除干扰问题很相似。信号不好有噪声,实际是信号的无规则运动,是分子运动论的原理。如果能把连续的波采样成离散的数字信号,再把这些离散信号传输回去还原成连续的波,就可以解决噪声问题了。

在香农理解这个关系的同时,贝尔实验室里已经有了这方面的基础研究,并且发现了传输速率和信道带宽的关系,提出了基本公式和数学模型。这就为香农信息论的诞生打下了非常好的基础。

阿兰 • 图灵当时也在为军方工作,他正参与一个通信加密系统的项目。在此之前,他曾经在一篇论文里设想过一种类似大脑一样可以思考的“图灵机”。这台机器的设想,图灵的初衷是为了证明数学是否可判定的问题。他采用了最简单的0和1做为指令符号,用打字机式的数字键盘和纸带来实现,然后做设计和操作,让机器去运算这些数。最后,图灵得出的结论是,有些数可命名、可定义却是不可计算的。这图灵机,其实就是后世电子计算机的雏形

图灵还有一个伟大的成果,就是破解了纳粹德国的密码系统,让战争得到了尽快的结束。

香农也做了类似的密码研究。他从纯数学领域,发展出了密码学理论,研究了解密的数据规律。在这个过程中,他就受到了我们前面讲到的非洲鼓语中的冗余、字母顺序、莫尔斯码26个字母的出现频率等研究的启发,还有统计学、概率等问题,形成了信息论的基础。

通过对加密解密的研究,香农意识到,物理细节抽象到最后,就变成了和讯息意义无关的东西。

那信息到底是什么呢?下次讲。

下次讲解。

好了,今天的讲解就到这里。下次我们继续解读《信息简史》,欢迎持续关注。

(未完待续)

原创不易,转载请注明出处。如果您觉的文章有用,别忘了在文末点赞哦。图片来自网络,如有侵权,请联络删除。谢谢!

倾一生之力,读经典好书,写有厚度的文字,过有深度的人生。我是杜豆豆,感谢您的关注。

作者简介:杜豆豆,IT从业20余年,曾先后研修英语、计算机、美学和心理学专业。早年创过业,后就职多家全球知名IT外企,现工作于某研究院。书痴一枚,闲时码码字。兼任多家平台签约作者,简书会员合伙人,万卷好书工作室、万卷好书读书会创立人。

相关文章

  • Oct.07 《信息简史》3-1:香农的信息论1

    文/杜豆豆 1 人类开始自觉地理解和利用信息,始于克劳德 • 香农在1948年创立的信息论。 跟着作者,我们领略了...

  • 《信息简史》3-1:香农的信息论(上)

    《100本互联网人必读》系列:《信息简史》3-1:香农的信息论(上) 文/杜豆豆 倾一生之力,读经典好书,写有厚度...

  • 信息论学习

    信息论 香农信息论的“信息”并不包含意义。信息论传递的是信息/消息/讯息/信号,其中:(1)消息/讯息是信息的载体...

  • 《信息简史》3-2:香农的信息论(下)

    《100本互联网人必读》系列:《信息简史》3-2:香农的信息论(下) 文/杜豆豆 倾一生之力,读经典好书,写有厚度...

  • Episode 8:信息的传递与接收 | 香农第二定理

    信息的传递 谈到信息不得不提信息论的创始人香农,本篇讲述的主题信息传递就跟他的香农第二定理相关。 香农第二定理: ...

  • 从信息论看机器学习

    从信息论鼻祖香农1948年创立信息论起,信息论有了坚实的数学基础,人类拉开了信息时代的序幕。 人工智能或者说机器学...

  • 《熵减:华为活力之源》读书总结

    熵本是热力学第二定律的概念,信息论鼻祖香农将其引入至信息论去度量信息,开创了信息论,奠定了通信及信息革命的理论基础...

  • 香农信息论笔记

    香农到底解决了什么问题? 三个基本概念:信源熵,信道容量,率失真函数 三个极限定理:无失真信源编码,限失真信源编码...

  • 浪潮之巅-读书摘抄

    AT&T 1、二战中,贝尔的香农提出的信息论,信息论是整个现代通讯的基础; 2、Unix操作系统和C语言的发明人汤...

  • 什么是信息熵?

    1948 年,伟大的信息论之父香农(Shannon)将热力学中熵的概念引入到了信息论中,提出了“信息熵”这一概念。...

网友评论

      本文标题:Oct.07 《信息简史》3-1:香农的信息论1

      本文链接:https://www.haomeiwen.com/subject/bkcxpktx.html