隐马尔可夫模型

定义： 关于时序的概率模型，描述由一个隐藏得马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生的观测随机序列的过程。

状态序列： 隐藏的马尔可夫链随机生成的状态的序列

观测序列： 每一个状态生成一个观测，而由此产生的观测的随机序列

序列的每一个位置又可以看做是一个时刻

隐马尔可夫模型由初始概率分布、状态转移概率分布以及观测概率分布确定。形式定义如下：

所有可能的状态的集合：Q={q₁,q₂,q₃,q₄...q_N}

所有可能的观测的集合：V={v₁,v₂,v₃,v₄...v_N}

长度为T的状态序列：I=(i₁,i₂,i₃,i₄,...i_T)

对于的长度为T的观测序列：O=(o₁,o₂,o₃,o₄...o_T)

状态转移概率矩阵：A = [a_ij]_NxN，其中

a_ij = P(i_t+1=q_j|i_t=q_i), i=1,2,...,N; j=1,2,...,N, 是在时刻t处于状态q_i的条件下在时刻t+1转移到q_j的概率。

观测概率矩阵：B=[b_j(k)]_NxM, 其中b_j(k)=P(o_t=v_k|i_t=q_j), k=1,2,...,M; j=1,2,...,N 是指时刻t处于状态q_j的条件下生成观测v_k的概率。

PP 代表初始状态概率向量： PP = (pp_i); 其中pp_i=P(i₁=q_i) , i = 1,2,...,N 指时刻t=1处于状态q_i的概率。

---

简述的bug无法插入数学公式，好坑爹

---

隐马尔可夫由初始状态概率向量PP、状态转移概率矩阵A和观测概率矩阵B决定。PP和A决定状态序列，B决定观测序列。因此隐马尔可夫模型lambda可以用用三元符号表示，即 lambda = (A, B, PP), A、B、PP称为隐马尔可夫模型的三要素。

---

隐马尔可夫模型的两个基本假设：

(1) 齐次马尔可夫性假设，即假设隐藏得马尔可夫链再任意时刻t的状态只依赖于其前一时刻的状态，与其他时刻的状态及观测无关，也与时刻t无关。

P(i_t|i_t-1, o_t-1,i_t-2, o_t-2,...i₁, o₁) = P(i_t|i_t-1)

(2)观测独立性假设，即假设任意时刻的观测只依赖于该时刻的马尔可夫链的状态，与其他观测及状态无关。

P(o_t|i_T, o_T, i_T-1, o_T-1,...,i_t+1, o_t+1, i_t, i_t-1, o_t-1,...,i₁,o₁) = P(o_t|i_t)

---

隐马尔可夫模型可以用于标注，这是状态对应这标记。标注问题是给定观测的序列预测其对应标记序列。可以假设标注问题的数据是由隐马尔可夫模型生成的。

观测序列的生成过程

算法（观测序列的生成）

输入：隐马尔可夫模型 lambda = (A, B, PP)， 观测序列长度T

输出：观测序列 O = (o₁,o₂,o₃,o₄,...,o_T)

(1) 按照初始状态分布PP产生状态i₁

(2)令t=1

(3)安装状态i_t的观测概率分布b_i1(k)生成o_t

(4)安装状态i_t的状态转移概率分布{a_itit+1}产生状态i_t+1; i_{t+1 = 1, 2, 3,...,N}

(5)令t=t+1；如果t< T, 转（3）；否则，终止

隐马尔可夫模型的3个基本问题

（1）概率计算问题：给定模型lambda = (A, B, PP)和观测序列O = (o₁,o₂,o₃,o₄,...,o_T)，计算再模型lambda下观测序列O出现的概率P(O|lambda).

（2）学习问题：已知观测序列O = (o₁,o₂,o₃,o₄,...,o_T)，估计模型lambda参数，使得在该模型下观测序列概率P(O|lambda)最大。即用最大似然估计的方法估计参数。

（3）预测问题：也称为解码问题，已知模型lambda = (A, B, PP)和观测序列O = (o₁,o₂,o₃,o₄,...,o_T)，求对给定观测序列条件概率P(I|O)最大的状态序列I=(i₁, i₂,i₃,..,i_T)。即给定观测序列，求最有可能的对应的状态序列。

Reference：

《统计学习方法》李航