EM算法是频率学派的武功，是极大似然法估计的升级版。是带有隐变量的极大似然估计。
典型的应用：GMM、pLSA
算法分成两步：E步和M步
Paste_Image.png
E步：
根据参数初始值或上一次迭代的模型参数来计算出隐性变量的后验概率（分布），其实就是隐性变量的期望。作为隐藏变量的现估计值：
M步：
把似然函数最大化获得新的参数值。
EM算法的难点在于公式的数学推导，尤其是M步。
普世的EM算法，我们只能推导到E步，得到隐变量的后验概率。
而M步，也就是极大似然公式的建立和推导，是需要结合具体的问题的。比如pLSA就带着一个剧复杂的M步推导。
Paste_Image.png
Paste_Image.png
似然函数极大
Paste_Image.png
Jensen不等式镇楼
Paste_Image.png
Paste_Image.png
扩展
Paste_Image.png
EM算法是频率学派的武功，是极大似然法估计的升级版。是带有隐变量的极大似然估计。典型的应用：GMM、pLSA 正文...
之前写过一篇文章EM 算法的 9 重境界之前两重，里面讲述了em算法的过程，本文是对前一篇文章的补充。 em算法中...
参考: 从最大似然到EM算法浅解 （EM算法）The EM Algorithm EM算法及其推广学习笔记 EM算法...
1. EM算法是求解含有隐变量的极大似然估计参数的迭代算法。 2. 极大似然估计可以用梯度下降法求解，但是如果概...
样本数据中存在隐变量导致无法直接用极大似然估计求解参数的情况. 就是直接求解似然函数L(θ) = P(X,Z|θ)...
以下是我觉得最通俗理解EM思想的方式了！详细看来： 极大似然估计 讲EM算法之前，我们先来看下极大似然估计，这个可...
EM 算法是十大经典的机器学习算法，【PS:MC是二十世纪十大算法】 回顾下经典的EM算法，对其理解加深 1. 学...
问题 1. 什么是EM 2. EM算法流程是怎么样的 3. EM算法的优缺点 1. EM算法介绍 EM算法...
03 EM算法 - EM算法流程和直观案例 八、EM算法收敛证明 EM算法的收敛性只要我们能够证明对数似然函数的值...
如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，...
本文标题：补充：理解EM算法
本文链接：https://www.haomeiwen.com/subject/cpxipttx.html
网友评论