熵的公式

统计热力学：熵的大小与体系的微观状态Ω有关，即S=klnΩ，其中k为玻尔兹曼常量，体系微观状态数Ω，Ω是大量质点的体系经统计规律而得到的热力学概率，因此熵有统计意义，对只有几个、几十或几百分子的体系就无所谓熵。所以热力学中状态数越多，熵越大

①热力学第一定律：dE=dQ-pdV，即系统内能的增量等于系统所吸收的热量减去系统对外所做的功；

②热力学第二定律：dS/dt>=0，即系统的自发运动总是向着熵增加的方向；

信息量：对于某一事件，其发生的概率越小，那么其信息量越大；发生的概率越大，那么其信息量越小(最小不小于0)。h(x) =f(p(x)) 其中 f 表示一个递减的函数，但是递减的函数好多，用哪一个呢？注意到还有一个性质: 如果两个事件 X,Y是相互独立的那么 这两个事件同时发生所产生的信息量等于这两个事情各自独立发生产生的信息量之和 即 h(x,y) = h(x)+h(y)，而这两个事情同时发生的概率是 p(x,y) =p(x)*p(y)。通过这个性质我们很自然的会想到对数函数h(x,y)=-log(p(x,y))=-log(p(x)*p(y))=-(log(p(x))+log(p(y)))= -(h(x)+h(y))。因此，有信息量公式如下：h ( x ) = − log ⁡ 2 p ( x )。 （1）为什么有一个负号，负号是为了确保信息一定是正数或者是0，因为p(x) 是一个概率 必然取值在[0,1] 之间 而当x在[0,1]时 log(x) 是一个小于0 的值，但是信息量明显是一个大于0的值，所以我们在前面加上一个负号（看log的函数在1以下都是负数）；（2）为什么底数为2，我们需要信息量满足低概率事件x对应于高的信息量。那么对数的选择是任意的。同时按“是否”问题来度量信息量，️️以抛硬币这种只有两种结果来作为参照。三次硬币，有8种结果，抛一次硬币，有两种结果，这与质量参照线性关系不同，是指数关系。3=log2(8)，8个不确定情况相当于3个硬币产生的结果。当告诉你结果时信息量就为3bite

信息学熵：H(X)=−∑P(x)log2P(x))。

信息量与信息熵：信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。信息熵就是信息量的数学期望。信息量度量的是一个具体事件发生了所带来的信息，而熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。抛两枚硬币或者四个等可能性选项中选择出正确答案，这个的信息量是2bite，信息熵也是2.

方差与信息熵：方差度量一个数值集合或数值分布的离散程度。不确定性与离散程度有关，但是两者并不是一回事。方差D(X)=E[X-E(X)]^2

热力学熵和信息熵。其实这两种熵是可以用公式做等号的，因为获取信息需要能量。

1bit 信息熵＝kln2（J/K）热力学熵

当你信息有局限的时候，要做成一件事，你就需要更多的能量，产生更多的熵。