1. EM算法是求解含有隐变量的极大似然估计参数的迭代算法。
2. 极大似然估计可以用梯度下降法求解，但是如果概率分布中含有隐变量的时候，先求和再求log，再求导很难。
3. 对于每一轮的迭代，先找到当前函数的一个下界函数，如果我们找到让下界函数达到最大的参数，那么这个参数也一定能让原函数增大；
选取的这个下界函数有着很好的性质：先求log在求和，这样就比较好求导。
4. 理解这里的隐变量：
混合高斯分布：对于每个样本而言，隐变量指的是样本来自于哪一个高斯分布；
抛硬币：假设有3枚硬币，分别记做A，B，C。这些硬币正面出现的概率分别是π,p和q。进行如下掷硬币实验：先掷硬币A，根据其结果选出硬币B或C，正面选B，反面选硬币C；然后投掷选重中的硬币，出现正面记作1，反面记作0；独立地重复n次；观测变量Y，至于结果来自于B还是C无从得知，我们设隐变量Z来表示来自于哪个变量；
5. 推导：http://lanbing510.info/2015/11/12/Master-EM-Algorithm.html
1. EM算法是求解含有隐变量的极大似然估计参数的迭代算法。 2. 极大似然估计可以用梯度下降法求解，但是如果概...
参考: 从最大似然到EM算法浅解 （EM算法）The EM Algorithm EM算法及其推广学习笔记 EM算法...
EM算法是频率学派的武功，是极大似然法估计的升级版。是带有隐变量的极大似然估计。典型的应用：GMM、pLSA 正文...
样本数据中存在隐变量导致无法直接用极大似然估计求解参数的情况. 就是直接求解似然函数L(θ) = P(X,Z|θ)...
以下是我觉得最通俗理解EM思想的方式了！详细看来： 极大似然估计 讲EM算法之前，我们先来看下极大似然估计，这个可...
EM 算法是十大经典的机器学习算法，【PS:MC是二十世纪十大算法】 回顾下经典的EM算法，对其理解加深 1. 学...
问题 1. 什么是EM 2. EM算法流程是怎么样的 3. EM算法的优缺点 1. EM算法介绍 EM算法...
周志华老师在《机器学习》里这样评价 EM算法：EM算法是最常见的隐变量估计方法，在机器学习里有着极为广泛的用途，例...
03 EM算法 - EM算法流程和直观案例 八、EM算法收敛证明 EM算法的收敛性只要我们能够证明对数似然函数的值...
如果使用基于最大似然估计的模型，模型中存在隐变量，就要用EM算法做参数估计。个人认为，理解EM算法背后的idea，...
本文标题：EM算法及理解
本文链接：https://www.haomeiwen.com/subject/dssbzftx.html
网友评论