吴军.信息论40讲
导论
发刊词|信息时代每个人的必修课
信息时代最显著的特征是什么:信息时代的最大特征是不确定性
牛顿时代大家看到的变化是连续的,而今天经历的常常是非连续的,或者说是跳跃性的变化,不确定性加上跳跃式变化,才让大家感到格外焦虑。
对付不确定性的方法是什么呢?1948年,香农博士找到了确定性和信息的关系,从此为人类找到了面对不确定性世界时的方法论,也就是利用消息消除不确定性
.
世界上的知识,可以分为道和术两个层面
总结
一个人的思维方式和做事方法常常决定了一个人能够走多远,而在历史的任何时期,都有罪适合时代的方法论
01影响世界的三比特信息
- 不要重视钱而轻视信息。
- 不要重视钱而轻视信息。
- 不要重视钱, 而轻视信息!
- 善用信息和善用金钱一样重要, 在这门课程里, 甚至可以认为善用信用比善用金钱还重要。 这是因为很少信息的背后,可能包含着改变成千上万人命运的力量。 为了证明自己的观点, 吴军老师举了三个例子,其中的“诺曼底登陆2选1”、“纸上谈兵的赵括”是很多人都了解的。
对 “如果一种情况发生的可能性大,另一种发生的可能性小,所需要的信息就不到1比特。比如说,一种情况出现的概率是1/3,另一种是2/3,这种情况下消除不确定性的信息量则降低到0.9比特。” 的解释
在二选择一的场景下,假设第一选择发生的概率是p (p介于0~100%),那么根据信息量(所需比特)公式定义为 log(p) + log(1-p) = log [p*(1-p)], 因为log函数是单调递增的, 所以 p(1-p)取最大值的时候,信息量(比特)也最大, 即 p = 50%时最大。 那么当p往两边跑的时候,这个信息量就下降了。
(大家可以想象一条抛物线, 在中点 p = 0.5的地方是最高点)
对 “我们知道1比特信息是非常少的,是一个计算机字节的1/8,一个像素的1/24。” 的解释
- 计算机是二进制的, 一个字节(1byte, 1B)由八位0或1组成的数串组成, 例如 01011010 , 其中的每一位叫做 比特(1bit, 1B=8bit).
- 而一个像素对应的比特信息, 需要看是什么模式了, 有以下几种常见模式:
- 如果是灰度模式(黑白照片)1像素就是1byte;
- 如果是RGB模式, 1像素则要用(R,G,B) 三个byte表示;
- 如果是CMYK模式,1像素则要用(C,M,Y, K) 四个byte表示;
吴军老师在文中提到的1比特是一个像素的 1/24, 是指RGB模式下的场景。
关于Peter_Norvig
-
他是全世界人工智能领域的殿堂级人物,人工智能教科书的作者, Google研究院的“火车头组”之一。
-
我无意之中曾经看过他2016年Berkely毕业生典礼上的演讲[You Can Always Get What You Want — But Not What You Need], 对我产生了很大的启示。 为了方便我已经上传到B站, 有兴趣的同学在Bilibili视频网站, 搜索Norvig就能看到了。
网友评论