信息熵（Information Entropy）的定义是：
对信息随机性的量度，指信息能被压缩的极限
信息熵能够被如此等价的一个预设是：在依据信息做预测的时候，对预测毫无帮助的信息我们称为无信息量，比如「今天太阳升起来了」，但是对于预测有极大帮助的信息，则称为含有很高的信息量，比如招聘某个员工时候的履历（预测此员工未来的表现），在提供「信息量」的过程中，「信息熵」表示的就是信息可以被压缩的极限
“熵”是信息论中最基本最重要的一个概念，香农最初想用“信息” （information） 来表达这一概念，但这个词当时已经被用滥了。香农便放弃用信息这个词。冯·诺依曼建议香农用“熵”；并给出二个理由：一是香农原本想用的“不确定性”（uncertainty）这个概念已经用于统计力学，二是没人知道“熵”倒底是什么，用它不会引起争论。不过冯·诺依曼毕竟见多识广，他早就知道“熵”已被用于热力学系统，但却仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好地得到解释。正如所料，“熵”这一概念被延伸到信息论后，其本质才逐渐被解释清楚，信息论对熵的本质的解释就是“系统内在的混乱程度”。汉语中本无“熵”字，1923年德国物理学家普朗克（M. Planck）来华讲学时用到entropy这个词，由于entropy在表达形式上是两个量相除的商，我国著名物理学家胡刚复教授在现场口译时，把这个词翻译成“商”字加“火”旁创造了汉语的一个新术语“熵”。
Claude Shannon 是一个非常有趣的家伙，用10年左右创建和完善 information theory 以后，用余下的几十年造各种有趣的小玩意（杂耍机器人、自动魔方机、The Ultimate Machine 等等），Shannon 最伟大的地方，是构建了信息学和数学之间的桥梁，从而让信息学成为一门可以被换算的学科
创建信息论时候的论文《A Mathematical Theory of Communication》：
http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
这篇论文非常厉害，在创立一个领域的时候就对这个领域进行了完备的证明：
《The Idea Factory》: It was one of the rare memonts in history, where somebody founded a field, stated all the major results, and proved most of them all pretty much at once.
文章发表的过程也颇为有趣：
香农的关于信息论的文章于1948年分二期发表在《贝尔系统技术期刊》上。这份出版物几乎没有什么图书馆订阅，类似于我们今天某单位的内部参考之类。当时的研究人员几乎是靠口口相传的蠢笨方式获知香农的工作。于是就纷纷给香农直接写信索要该文的复印本。即便如此，也没几个人能读懂香农的文章。原因是工程师认为该文数学内容太深了；数学家又对文章中的工程学背景缺乏了解。可是，毕竟还是有慧眼识金的人物。时任洛克菲勒基金会自然科学部主任的韦弗（W. Weaver）认识到该文的价值。他告诉基金会的主席，香农之于通信理论的贡献，就如同“吉布斯之于物理化学”。1949年，韦弗在《科学美国人》杂志发表了一篇不是很技术化的赞誉香农工作的普及文章，深入浅出地介绍了香农工作的重要性。之后韦弗的文章和香农的论文被集结成书，以《通信的数学理论》(The Mathematical Theory of Communication)为题公开出版。请注意，香农的论文题目用的是不定冠词“A”，而韦弗与他合著的书却用了定冠词“The”。在英语中，从不定冠词变为定冠词马上就从谦虚变为自负！难道香农的信息论不是自负的一种理论吗？它的问世改变了一个时代！
Shannon 诞辰100周年时候的介绍：
https://www.youtube.com/watch?v=pHSRHi17RKM
公式：
b一般取2
对公式的解释：
https://www.youtube.com/watch?v=2s3aJfRr9gE
https://www.youtube.com/watch?v=9r7FIXEAGvs
我的理解：
信息量，不和信息的长度相关，而是和信息获取以后的解压时间成正比，这个解压时间可以理解成一种人大脑中的思考行为（大脑只适合思考长度很短的信息），也可以理解成电脑的解压次数（电脑只有全解压以后才能读取使用）
信息熵主要的价值就在于建立了数学和这种解压之间的关系，从而可以计算出信息的压缩极限
信息量和信息的重要性是没有关系的（信息和意义无关），所以「信息量」更适合作为一个通信行业内的概念
不同的人之间，对信息的理解能力差别也是非常大的，比如爱因斯坦和普通人对于某些梳理现象的理解，所以对于接收方对信息的有效接受量，是无法通过「信息熵」来评估的
《一个理论改变了一个时代 ——香农诞辰百年纪念》：
http://blog.sciencenet.cn/blog-105489-1015851.html
网友评论