减函数
函数f(x)的定义域为I，如果对于定义域I内的某个区间D上的任意两个自变量的值x1,x2 ，当x1<x2时，都有f(x1)> f(x2)，那么就说f(x)在这个区间上是减函数，并称区间D为递减区间。减函数的图像从左往右是下降的，即函数值随自变量的增大而减小。判断一个函数是否为减函数可以通过定义法、图像法、直观法或利用该区间内导数值的正负来判断。
信息量是信息出现频率的减函数，也就是说信息出现频率高，我们感受到不确定性大，获得的信息就小；而出现频率低的词汇，一旦出现，带给我们的不确定性会很小，因而信息量就大。
可加性
信息具有可加性，即两个词汇的信息量是由这两个词汇各自的信息量组合而成的。
信息熵=+...
上述公式中，X表示的是每个单词出现的频率（或者说概率）。
信息熵就是整个信息系统中的平均不确定性。
按照上述公式，每个单词其实都为产生认知提供了自己的信息。每个单词为信息熵做的贡献为,变换一个形式为
。
网友评论