《信息理论基础》（一）

作者: BJTULHP | 来源:发表于2019-03-10 18:02 被阅读0次

《信息理论基础》（一）
信息理论基础
《熵减：华为活力之源》读书总结
信念固着
图说信息安全（下）
信息的度量——熵
荐书 | 会计信息系统-(第12版)
社会心理学：为什么有时我们错了，却很难被说服？
虚拟存储器
《财务自由之路》2

2.1 信源的数学模型及分类

离散信源：信源输出的都是单个符号，符号集的取值是有限的或可数的

$\left[ \begin{matrix} X \\ P(x) \end{matrix} \right] = \left[ \begin{matrix} a_1 & a_2 & ... & a_q \\ P(a_1) & P(a_2) & ... & P(a_q) \end{matrix} \right]$

$\sum _{i=1} ^q = 1\tag{概率的归一性}$

连续信源：输出信号的符号集是取值连续的，或取值是实数集 $(-\infty, \infty)$

$\left[ \begin{matrix} X \\ p(x) \end{matrix} \right] = \left[ \begin{matrix} (a,b) \\ p(x) \end{matrix} \right]or \left[ \begin{matrix} R \\ p(x) \end{matrix} \right]$

$\int _a ^b p(x)dx = 1 \qquad or \qquad \int _R p(x)dx = 1 \tag{概率的归一性}$

离散平稳信源
- 信源输出的随机序列 $X=(X_1, X_3, ..., X_N)$ 中，每个随机变量 $X_i(i=1, 2, ..., N)$ 都是取值离散的随机变量，即每个随机变量 $X_i$ 的可能取值是有限的或可数的。
- 而且随机矢量 $X$ 的各维概率分布都与时间起点无关，也就是说任意两个不同时刻随机矢量 $X$ 的各维概率分布都相同。
连续平稳信源
- 若将信源的输出表示成 $N$ 维随机矢量 $X=(X_1, X_2, ..., X_N)$ 来描述，其中每一个随机分量 $X_i(i=1, 2, ..., N)$ 都是取值为连续的连续性随机变量（即 $X_i$ 的可能取值是不可数的无限值），
- 并且满足随机矢量 $X$ 的各维概率密度函数与时间起点无关，也就是在任意两个不同时刻随机矢量 $X$ 的各维概率密度函数都相同
离散无记忆信源的扩展信源
- 信源空间： $\left[ \begin{matrix} X \\ p(x) \end{matrix} \right]$ 为信源 $X$ 的信源空间，信源 $X$ 的概率空间是一个完备集
  
  概率空间：概率空间是一个总测度为1的测度空间
  
  测度空间：构造一个集函数，它能赋予实数集簇М中的每一个集合E一个非负扩充实数mE。我们将此集函数称为E的测度。
  
  集函数：集函数是测度论中定义的概念，是以集类为定义域的函数。
  
  集类：过于复杂。。。和集合有很大区别
- 多符号离散平稳信源 $[X] = X_1, X_2, ..., X_N$ 中符号的随机变量 $X_i$ 都取值与同一个信源空间
- 多符号离散平稳信源 $[x] = X_1, X_2, ..., X_N$ 中各变量 $X_i$ 之间统计独立
- 总结两个意思
  - 单符号离散无记忆信源：概率空间是无记忆的，不随时间变化
  - 多符号离散无记忆信源：各各符号之间是统计独立的，不存在干扰
N次扩展信源的信源空间
- 信源 $X^N$ 有 $N$ 个符号，每一个符号 $X_i$ 均来自信源空间 $A:{a_1, a_2, ..., a_q}$ ，所以一个消息（ $X^N$ ）中的 $N$ 个符号均来自 $A:{a_1, a_2, ..., a_q}$ 中的具体值。这个关系表明扩展信源的每个符号取值与同一个单符号信源空间。
- 服气：一件简单的事非得说的谁也不明白
有记忆信源：随机变量 $X_i$ 之间是相互依赖的。
马尔可夫信源：
- m阶马尔可夫信源就是每次发出的符号只与前m个符号有关，与更前面的符号无关。
时齐马尔可夫信源：
- 马尔可夫信源，且与时间起点无关
随机波形信源：时间与取值都是连续的

离散信源的信息熵

若一随机事件的概率为 $P(a_i)$ ，它的自信息的数学定义为

$I(a_i) = - \log P(a_i)$

如果以2为底，取得的信息量单位为比特（bit），如果以e为底，称为奈特（nat），如果以10为底，称为哈特（Hart）。
条件自信息定义为

$I(x_i | y_i) = - \log[P(x_i | y_i)] \tag{条件概率大于0}$

信息熵

定义为自信息的数学期望为信源客观上的平均信息量，成为信源的信息熵

$H(x) = E[I(a_i)] = \sum _{i=1} ^q P(a_i)I(a_i) = - \sum _{i=1} ^q \log P(a_i)$

$H(x)$ 表示信源发出的任何一个消息状态所携带的平均信息量，也等于在无噪声条件下，接收者收到一个消息状态所获得的平均信息量。
信息熵并不反映从信源中平均能获多少信息量，而是从平均的意义上，代表信源所客观存在着发送信息的能力。

信息熵的基本性质

非负性
~~对称性（假的，不对没有这个）~~
确定性，概率为一就一定会发生
连续性：当有微小波动时，波动趋于0时，信息熵无影响
- 若信源的取值增多时，若这些取值的概率很小，则信息熵不变
- 虽然概率很小的事件出现后，给予收信方较多的信息。但总体来考虑，因为这种概率很小几乎不会出现，所以它在熵的计算中占的比重很小。
- 这是熵的总体平均性的体现
扩展性：拆分而已
可加性：任何复杂的问题都可以分布解决

$I(x; yz) = I(x, y) + I(x, z|y) \\ H(XY) = H(X) + H(Y|X)$

递增性：拆分后其信息熵增加
极值性：任何离散信息源，不论它取何种概率分布，所得的信息熵一定不会大于等概率分布时的信息熵。
上凸性：因为当函数具有上凸性时，其值域中一定存在极大值

上凸性

《信息理论基础》（一）
2.1 信源的数学模型及分类离散信源：信源输出的都是单个符号，符号集的取值是有限的或可数的连续信源：输出信号的...
信息理论基础
离散信源：信源输出的都是单个符号（或代码）的消息，它们符号集的取值是有限的或可数的。可用一维离散型随机变量X来描述...
《熵减：华为活力之源》读书总结
熵本是热力学第二定律的概念，信息论鼻祖香农将其引入至信息论去度量信息，开创了信息论，奠定了通信及信息革命的理论基础...
信念固着
一旦人们为错误的信息建立了理论基础，那么就很难再让他们否定这条错误的信息。信念固着证明了信念可以独立存在，并且当...
图说信息安全（下）
大家好，我是帅气小伙。上一篇为大家讲述了信息安全的理论基础，今天我要为大家讲解的是信息安全的应用技术。认证技术 ...
信息的度量——熵
问题的引出：我们常说信息有用，那么它的作用是如何客观、定量的体现出来的呢？信息用途的背后是否有理论基础呢？对于...
荐书 | 会计信息系统-(第12版)
会计信息系统-(第12版) 第1部分会计信息系统理论基础第1章会计信息系统概述第2章交易处理和企业资源...
社会心理学：为什么有时我们错了，却很难被说服？
——信念固着信念固着就是一旦我们为错误的信息建立了理论基础，那么就很难再让我们否定这条错误信息。就好像我们一旦掉...
虚拟存储器
overview 理论基础：局部性原理本质：以时间（外存与内存的信息交换）换空间（扩大内存逻辑空间）受限：地址...
《财务自由之路》2
这本书分两部分：一、理论基础；二、实践篇今天主要谈理论基础篇。理论基础部分从仓鼠之轮、书本知识与社会实...