离散信源：信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。可用一维离散型随机变量X来描述这些信源的输出。这样的信源称为～。
连续信源：输出消息的符号集A的取值是连续的，或取值是实数集（－∞,∞）我们可用一维的连续型随机变量X来描述这些信源的输出。这样的信源称为～。
离散平稳信源：若信源输出的随机序列X=(X1,X2,XN)中，每个随机变量Xi(i=1,2,…N)都是取值离散的离散型随机变量，即每个随机变量Xi的可能取值是有限的或可数的。而且随机矢量X的各维概率分布都与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率分布都相同。这样的信源称为～。
连续平稳信源：若信源输出的消息可用N维随机矢量X＝(X1,X2,XN)来描述，其中每个随机分量Xi(i=1,2,…N)都是取值为连续的连续型随机变量（即Xi的可能取值是不可数的无限值），并且满足随机矢量X的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量X的各维概率密度函数都相同，这样的信源称为～。
离散无记忆信源的扩展信源：多符号离散平稳信源[X]=X1，X2，…XN中，符号的随机变量Xi都取值于同一个信源空间，多符号离散平稳信源[X]= X1，X2，…XN中，各变量Xi(i=1,2,…N)之间统计独立。
有记忆信源：信源输出的平稳随机序列X中，各随机变量Xi之间是相互依赖的。这种信源称为有记忆信源。
尔可夫信源：m阶马尔可夫信源就是每次发出的符号只与前m个符号有关，与更前面的符号无关。
时齐马尔可夫链：如果上述条件概率与时间起点i无关，即信源输出的符号序列可看成为时齐马尔可夫链，则此信源称为时齐马尔可夫信源。
随机波形信源：实际信源输出的消息常常是时间和取值都是连续的。对于这种信源输出的消息，可用随机过程来描述，称这类信源为随机波形信源。
信源的分类
自信息（自信息量）
不确定性：在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。
不确定性：在一个通信系统中，收信者所获取的信息量，在数量上等于通信前后对信源的不确定性的减少量。
自信息定义：
信息采用的单位取决于对数所选取的底。如果取以2为底，则取得的信息量单位称为比特（bit）；如果以e为底，称为奈特（nat），如果以10为底的对数，则所得的信息量单位称为哈特（Hart）。
条件自信息定义：
定义所表达的是一个联合事件xy，在某一个变量x(或y)被确知之后，另一个变量y(或x)还剩下的不确定度；或者说另一个变量y(或x)将还能带给接收者多么大的信息量。
信息熵定义：
定义自信息的数学期望为信源客观上的平均信息量，称为信源的信息熵(Entropy)。
H(X)表示信源发出任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。
信息熵与平均信息量的关系：
只有在无干扰的情况下，接收者准确无误的收到每一条消息后，同时也完全解除了它们的不定度时才能说接收者所获得的平均信息量等于信息熵。
所以一般来讲，信源的信息熵 H 并不等于接收者所获得的平均信息量。
因此我们讲信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。
信息熵的基本性质:
- 非负性（信息熵始终大于等于0）
- 对称性（元素概率互换，熵不变）
- 确定性（信息熵为0时，则有事件一定发生）
- 连续性（有概率分布上的微小波动时，可以忽略）
- 扩展性（多出小概率特别事件时，对总体熵影响微小）
- 信源的取值增多时，若这些取值对应的概率很小（接近于零），则信源的熵不变。虽然概率很小的事件出现后，给予收信者较多的信息。但从总体来考虑时，因为这种概率很小的事件几乎不会出现，所以它在熵的计算中占的比重很小。这也是熵的总体平均性的一种体现。
- 可加性
- 此性质的物理含义，即知识的可积累性.
- 具体的讲：熵函数是作为一个集合中的总体平均不定度特征，应对集合中元素的如何划分是无关的。
- 从另一方面看，可加性所反映的是任何复杂问题，都可以分步解决。
- 递增性
- 极值性
- 上式表明，任何概率分布下的信息熵一定不会大于它对其它概率分布下自信息的数学期望。
-
离散信源下的最大熵定理:任何离散信源，不论它取何种概率分布，所得的信息熵H(X)一定不会大于等概率分布时的信息熵(log q)。
- 上凸性
网友评论