香农
信息，对于我们来说应该是最不陌生的，不管是工作还是生活都离不开信息，倘若微信和抖音突然消失了，一些人是会寂寞致死的。
我们常常会用信息量大或者小来评价接触的信息，但一条新闻或一本书到底包含了多少信息量，却是普通人很难说清楚的。如何量化信息量的度量呢？在1948年，32岁的香农博士在他著名的论文“通信的数学原理”中提出了“信息熵”的概念，才解决了信息的度量问题，并且量化出信息的作用。
如果要彻底理解“信息熵”的概念，必须要用到一些数学公式，不过不理解这些数学公式也没关系，只要能够理解信息熵的基本概念和作用就可以了，所以这里就不引用数学公式了。
5句话笔记：
1.信息量就等于不确定性的多少。
2.信息熵是对一个信息系统不确定性的度量。（在这一点上，它和热力学中熵的概念有相似之处，因为后者就是一个系统无须的度量，从另一个角度讲也是对一种不确定性的度量。）
3.信息的作用在于消除不确定性，几乎所有的自然语言处理、信息与信号处理的应用都是一个消除不确定性的过程。
4.冗余度是指最大信息量和实际信息量之间的差距。
5.信息熵不仅是对信息的量化度量，而且是整个信息论的基础，它对于通信、数据压缩、自然语言处理都有很大的知道意义。
总结一下，就是：一个东西的信息量的大小，在于它克服了多少“不确定性”。明白了这一点，我们就很容易发现，平时看到的很多东西，其实都没有什么信息量，比如你正在刷的抖音。
关于信息论我在万维钢的《精英日课》中看到了更深刻的洞见。分享与你：
1.可供选择的范围越广，选择的信息量就越大。
2.信息，在于你从多大的不确定性中作出选择。信息，在于你制造了多少意外。信息，在于你有多大的自由度。所以信息论的价值观是要求选择权、多样性、不确定性和自由度。我们不只想老老实实地活着，我们还想活出“信息”来。我们想在这个世界留下自己的痕迹。
3.和别人沟通时，想要让别人充分理解你的意思，最好的办法不是用更大的声音对他喊，而是多给他讲几遍。
4.信息就是意外。从“信息论”这个维度出发，有两种事情特别值得我们去做的：a.出乎别人意料的事；b.给自己增加选项的事。
现在是越来越期待吴军老师的信息论课程了。
祝夏安。
网友评论