EM 算法——理论篇

作者: dreampai | 来源:发表于2019-04-18 11:56 被阅读0次

在概率模型中,最常用的模型参数估计方法应该就是最大似然法。EM算法本质上也是最大似然,用于含有隐变量(hidden variable)的概率参数模型的最大似然估计或极大后验概率估计。

最大似然函数估计值的一般步骤

  • 写出似然函数
  • 对似然函数取对数,并整理
  • 求导数,令导数为0,得到似然方程
  • 解似然方程,得到的参数即为所求

问题

image.png

EM算法的思路:

EM算法首先会固定其中的第一个参数,然后使用 MLE 计算第二个变量值;接着通过固定第二个变量,再使用 MLE 估测第一个变量值,依次迭代,直至收敛到局部最优解。

  • E-Step:通过 observed data 和现有模型估计参数估计值 missing data
  • M-Step:假设 missing data 已知的情况下,最大化似然函数。

由于算法保证了每次迭代之后,似然函数都会增加,所以函数最终会收敛

EM算法

image.png

学习链接

https://applenob.github.io/em.html

相关文章

  • EM 算法——理论篇

    在概率模型中,最常用的模型参数估计方法应该就是最大似然法。EM算法本质上也是最大似然,用于含有隐变量(hidden...

  • DataWhale-03-EM算法

    理论部分EM算法,全称Expectation Maximization Algorithm,译作最大期望化算法或期...

  • EM 算法的 9 重境界之第3重

    之前写过一篇文章EM 算法的 9 重境界之前两重,里面讲述了em算法的过程,本文是对前一篇文章的补充。 em算法中...

  • EM 算法

    参考: 从最大似然到EM算法浅解 (EM算法)The EM Algorithm EM算法及其推广学习笔记 EM算法...

  • EM算法

    问题 1. 什么是EM 2. EM算法流程是怎么样的 3. EM算法的优缺点 1. EM算法介绍 EM算法...

  • 期望最大化:迭代进化

    一,timg.jpg Expectation Maximization(EM)。这是今天各种机器学习算法重要的理论...

  • 04 EM算法 - EM算法收敛证明

    03 EM算法 - EM算法流程和直观案例 八、EM算法收敛证明 EM算法的收敛性只要我们能够证明对数似然函数的值...

  • 01 EM算法 - 大纲 - 最大似然估计(MLE)、贝叶斯算法

    EM算法的讲解的内容包括以下几个方面: 1、最大似然估计2、K-means算法3、EM算法4、GMM算法 EM算法...

  • EM算法

    EM算法 EM算法基本思想 ​ 最大期望算法(Expectation-Maximization algorit...

  • 期望值最大化

    一,Expectation Maximization(EM)。这是今天各种机器学习算法重要的理论基础,也同时在管理...

网友评论

    本文标题:EM 算法——理论篇

    本文链接:https://www.haomeiwen.com/subject/umfzwqtx.html