告诉你什么是信息熵

信息熵，在信息论里则叫信息量,即熵是对不确定性的度量。从控制论的角度来看，应叫不确定性。

当我们不知道某事物具体状态，却知道它有几种可能状态时，显然，可能状态种类愈多，不确定性愈大。不确定性愈大的事物，我们最后确定了、知道了，这就是说我们从中得到了愈多的信息，也就是信息量大。所以，信息熵、不确定性、信息量，这三者是同一个数值。

某事物只有两种状态的情况：最简单的是只有两种可能状态，且两种状态概率相等，我们就以这种事物的信息量为单位，叫1比特（bit）。一个二进制位就有两种状态，如果确定了这个位是0还是1，那么信息量就为1比特。抛掷一枚绝对均匀的硬币，如果得到了结果，那么这个结果的信息也就是1比特。

某事物有四种状态的情况：用二分法，分为2组，我们要非此即彼地确定2次，才能确定其状态，所以含有2比特信息量。

可能状态有2的n次方（N=）：那就是n比特，即信息量等于可能性数目N的‘以2为底的对数’：H=。比如N＝3，3种可能性时，信息量H＝＝1.585。

下面利用天平的模式尝试从另一个角度理解一下什么是信息熵（这个想法来自YJango的视频。不过说实话，有一定基础的我看他的视频都没有理解信息熵到底是什么，我觉得没有上文的铺垫直接讲天平模型是不够的。）：

现在假设，用于测量质量的天平的左边是待测物体，右边是砝码。如果把质量换成信息，那么左边就是待测的信息量，右边可以是对应几个抛硬币事件的信息量。

算了，我直接引用YJango的视频吧，这部分比我讲得好。

信息为什么还有单位，熵的公式到底是怎么得来的？