熵

在吴军老师的书中，看到香农提出的一个概念：信息熵。因对熵还未了解，就去把这个概念搞清楚。

1868年，德国科学家克劳修斯创造了一个术语“熵”，用以表示那些不可用的能量。他发现，当能量由一个较高的、较集中的形态转化为分散的形态，即由高温的形态转化为低温的形态时，熵就会增加。经济活动在利用能源的过程中，散失到环境中的能量要比生产出的产品和服务大得多，即生成熵账单，如雾霾 ​​​。

香农从热力学中借用“熵”，用之解决了对信息的量化度量问题。信息熵的概念是来描述信源的不确定度。