2020机器学习HMM模型(1)

作者: zidea | 来源:发表于2020-02-06 20:07 被阅读0次

2020机器学习HMM模型(1)
马尔科夫模型的几个子模型
隐马尔科夫模型（1）基本概念和概率计算
Day 681：机器学习笔记（10）
Transformer面试基础：
2020 机器学习之HMM(上)
隐马尔科夫模型HMM
2020机器学习 Transform 模型(1)
2020机器学习线性模型(1)
机器学习_隐马尔可夫模型HMM

machine_learning.jpg

我们今天要介绍HMM(隐马可夫链)，这是一个在深度学习，也就是循环神经网出现之前处理自然语言，特别是语音识别上一个主流机器学习模型。

Voice-recognition.jpg

我们都是在给定数据 D 来求极大似然 $P(x|\theta)$ ，如果我们问题变得复杂，我观察到 x 值是受隐含变量 z 所控制也及时

hmm.png

E-step(求期望)

$Q(\theta|\theta^{(t)}) = E_{z|x,\theta^{(t)}} \left[ \log L(\theta|x,z) \right]$
我们这个求期望过程，也就是在 t 时刻求函数 $\log L(\theta|x,z) 的期望$

M-step(估计)

求出期望，让后将期望带入极大似然函数求更新 $\theta$ ,因为我们知道 EM 算法是迭代不断更新 $\theta$
$\theta^{(t+1)} = \arg \max_{\theta} Q(\theta|\theta^{(t)})$

学习到今天我们都知道机器学习问题一般都可以转换为求极大似然的问题。
$L(\theta) = \log \sum_z P(x,z|\theta)$
我们现在已经熟悉这个这样求极大似然的公式，这里在啰嗦两句这里是由连乘转换到连加，这个是借助log函数。原先形式是
$p(x|\theta) = \sum_z p(x,z|\theta) = \prod_{i=1} \sum_z P(x^{(i)},z|\theta)$
$\begin{aligned} \sum_x p(x)f(x) \\ E_x \left[f(x) \right] \end{aligned}$
$E_x \left[f(x) \right]$ 是表示求在 x 在服从 p(x) 分布, 求f(x)的期望
$\log \sum_z \frac{p(x,z|\theta)}{q(z|x,\theta^{(t+1)})}q(z|x,\theta^{(t+1)})$
这里 $q(z|x,\theta^{(t+1)})$ 表示 z 分布函数根据上面式子我们知道，可以将 $\sum_z q(z|x,\theta^{(t+1)})$ 写成 $E_{z|x,\theta^{(t)}}$ 所以可以写成
$\log E_{z|x,\theta^{(t)}} \left[ \frac{p(x,z|\theta)}{q(z|x,\theta^{(t+1)})}\right]$
这里我们复习一下 Jense 不等式，因为 log 函数式凹函数，所有

log_function_curve.png

$f(E[x]) \ge E_x[f(x)] \ge E_{z|x,\theta^{(t)}} \log \left[ \frac{p(x,z|\theta)}{q(z|x,\theta^{(t+1)})} \right]$

(待续)
最后希望大家关注我们微信公众号

wechat.jpeg

2020机器学习HMM模型(1)
我们今天要介绍HMM(隐马可夫链)，这是一个在深度学习，也就是循环神经网出现之前处理自然语言，特别是语音识别上一个...
马尔科夫模型的几个子模型
马尔可夫链（MC）：机器学习隐马尔可夫模型（HMM）：机器学习马尔科夫决策过程（MDP）：强化学习 MDP见：...
隐马尔科夫模型（1）基本概念和概率计算
隐马尔科夫模型 HMM 本文我们介绍一个机器学习中常用的模型————隐马尔科夫模型（Hidden Markov M...
Day 681：机器学习笔记（10）
HMM是隐马尔科夫模型，它和前面学的朴素贝叶斯、逻辑回归等都属于概率模型。机器学习中的概率模型，就是将学习归结为计...
Transformer面试基础：
HMM 和 CRF 区别： 1.HMM是生成模型，CRF是判别模型 2.HMM是概率有向图，CRF是概率无向图 3...
2020 机器学习之HMM(上)
这边文章资料引用一名老外的资料，在这里表示感谢。如果大家感兴趣可以去找一找资源观看前言首先根据数据进行统计分析...
隐马尔科夫模型HMM
直接上链接吧 1.聊聊隐马尔科夫模型（HMM） 2.一文搞懂HMM 3.HMM-python实例
2020机器学习 Transform 模型(1)
首先感谢李宏毅老师的分享，让我受益匪浅。部分图片也直接引用李宏毅老师的ppt 截图今天我们将介绍 Bert，那么...
2020机器学习线性模型(1)
线性模型今天我们来讨论一下线性模型，之前已经了解到线性模型来做回归问题，所谓回归问题就是根据给定样本数据训练出一...
机器学习_隐马尔可夫模型HMM
1. 马尔可夫链马尔可夫链是满足马尔可夫性质的随机过程。马尔可夫性质是无记忆性。也就是说，这一时刻的状态...

2020机器学习HMM模型(1)

E-step(求期望)

M-step(估计)

相关文章

2020机器学习HMM模型(1)

马尔科夫模型的几个子模型

隐马尔科夫模型（1）基本概念和概率计算

Day 681：机器学习笔记（10）

Transformer面试基础：

2020 机器学习之HMM(上)

隐马尔科夫模型HMM

2020机器学习 Transform 模型(1)

2020机器学习线性模型(1)

机器学习_隐马尔可夫模型HMM

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

机器学习与数据挖掘

深度学习

OpenCv