开始：信源
过程：信道
结束：信宿
一个基本模型：
信源 ——编码——信道——解码——信宿
信道 （可能中间产生干扰）
信息量：信息是否可以量化
信息熵：信息在系统中维生
物质熵：
负熵 —— 系统可以维生
正熵 —— 消耗
信息熵：
补充信息
比如说一个人坐牢，给他吃喝，不给他信息补充，信息消耗，直到消亡
信息也是生存的重要因素
一个系统存在（能量，物质，信息）
信息量：
与概率有关系。
A1 A2 A3 A4 A5 A6 A7 A8
1/4 1/4 1/8 1/8 1/16 1/16 1/16 1/16
A1 A2 一组 E0
E00 E01
其余一组 E1
E 1 分两座
E10 ( E100 E101)
E11 ( E1100 E1101 E1110 E1111)
后面的数字 是编码位数。与概率有关系。
hi = log 2 1/pi
hi 就是信息量
假设一段核酸序列(3个一组）
AAA AAC AAG AAT ...
p=1/64
hi = log 4 1/1/64
信息熵：
平均位数 (2+2+3+3+4X4)/8
Pi X log 2 1/p
就是平均位数
若都是等概率的情况
信息熵最大
网友评论