EM算法-一般形式

作者: ltochange | 来源:发表于2021-06-13 23:23 被阅读0次

EM算法-一般形式
EM 算法
EM算法
04 EM算法 - EM算法收敛证明
01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法
EM算法
EM算法
机器学习(十):EM算法与GMM算法原理及案例分析
2019-02-22-方法
R语言中EM算法估计高斯混合模型参数

期望极大（EM）算法：是一种迭代算法，用于含有隐变量（latent variable）的概率模型参数的极大似然估计或者极大后验概率估计。EM算法每次迭代有两步组成：E步求期望；M步求极大。

EM算法的一般形式

用 $Y$ 表示观测变量的数据， $Z$ 表示隐变量的数据。 $Y$ 和 $Z$ 一起称为完全数据（complete-data），观测数据 $Y$ 称为不完全数据（incompletedata)

输入: 观测变量数据 $Y$ , 隐变量数据 $Z$ , 联合分布 $P(Y, Z \mid \theta)$ , 条件分布 $P(Z \mid Y, \theta)$ ;
输出: 模型参数 $\theta_{0}$

(1) 选择参数的初值 $\theta^{(0)}$ , 开始迭代;

(2) $E$ 步：记 $\theta^{(i)}$ 为第 $i$ 次迭代参数 $\theta$ 的估计值，在第 $i+1$ 次迭代的 $\mathrm{E}$ 步，计算
$\begin{aligned} Q\left(\theta, \theta^{(i)}\right) &=E_{Z}\left[\log P(Y, Z \mid \theta) \mid Y, \theta^{(i)}\right] \\ &=\sum_{Z} \log P(Y, Z \mid \theta) P\left(Z \mid Y, \theta^{(i)}\right) \end{aligned}$
这里, $P\left(Z \mid Y, \theta^{(i)}\right)$ 是在给定观测数据 $Y$ 和当前的参数估计 $\theta^{(i)}$ 下隐变量数据 $Z$ 的条件概率分布;

（3） $M$ 步: 求使 $Q\left(\theta, \theta^{(i)}\right)$ 极大化的 $\theta$ , 确定第 $i+1$ 次迭代的参数的估计值 $\theta^{(i+1)}$
$\theta^{(i+1)}=\arg \max _{\theta} Q\left(\theta, \theta^{(i)}\right)$

(4) 重复第 $(2)$ 步和第 $(3)$ 步，直到收敛。

上述E步中的 $Q\left(\theta, \theta^{(i)}\right)$ 是EM算法的核心，称为 $Q$ 函数, 定义如下：

完全数据的对数似然函数 $\log P(Y, Z \mid \theta)$ 关于在给定观测数据 $Y$ 和当前参数 $\theta^{(i)}$ 下对未观测数据 $Z$ 的条件概率分布 $P\left(Z \mid Y, \theta^{(i)}\right)$ 的期望称为 $Q$ 函数，即
$\begin{aligned} Q\left(\theta, \theta^{(i)}\right) &=E_{Z}\left[\log P(Y, Z \mid \theta) \mid Y, \theta^{(i)}\right] \\ &=\sum_{Z} \log P(Y, Z \mid \theta) P\left(Z \mid Y, \theta^{(i)}\right) \end{aligned}$
几点说明:
步骤 (1) 参数的初值可以任意选择，但需注意EM算法对初值是敏感的。
步骤 (4) 给出停止迭代的条件，一般是对较小的正数 $\varepsilon_{1}, \varepsilon_{2}$ , 若满足
$\left\|\theta^{(i+1)}-\theta^{(i)}\right\|<\varepsilon_{1} \quad \text { 或 }\left\|Q\left(\theta^{(i+1)}, \theta^{(i)}\right)-Q\left(\theta^{(i)}, \theta^{(i)}\right)\right\|<\varepsilon_{2}$
则停止迭代。

EM算法-一般形式
期望极大（EM）算法：是一种迭代算法，用于含有隐变量（latent variable）的概率模型参数的极大似然估计...
EM 算法
参考: 从最大似然到EM算法浅解（EM算法）The EM Algorithm EM算法及其推广学习笔记 EM算法...
EM算法
问题 1. 什么是EM 2. EM算法流程是怎么样的 3. EM算法的优缺点 1. EM算法介绍 EM算法...
04 EM算法 - EM算法收敛证明
03 EM算法 - EM算法流程和直观案例八、EM算法收敛证明 EM算法的收敛性只要我们能够证明对数似然函数的值...
01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法
EM算法的讲解的内容包括以下几个方面： 1、最大似然估计2、K-means算法3、EM算法4、GMM算法 EM算法...
EM算法
回顾一下EM算法。EM算法一般用来做参数估计，如高斯混合模型，隐马尔科夫模型。最大期望算法经过两个步骤交替进行计算...
EM算法
EM算法 EM算法基本思想最大期望算法（Expectation-Maximization algorit...
机器学习(十):EM算法与GMM算法原理及案例分析
一、简介 EM算法最大期望算法(Expectation-maximization algorithm，简称EM，...
2019-02-22-方法
1.EM算法（1）从最大似然到EM算法浅解
R语言中EM算法估计高斯混合模型参数
EM算法 leengsmile2016年9月24日 EM 算法本文档介绍如何在R语言中，通过EM算法，估计高斯混...