EM算法的引入
一个例子就是：
假设有两枚硬币A、B，以相同的概率随机选择一个硬币，进行如下的抛硬币实验：共做5次实验，每次实验独立的抛十次
问在两种情况下分别如何估计两个硬币正面出现的概率？
由于我们只能看到最后的结果是正面还是反面，确不知道是A投出的还是B投出的。所以有一个隐函数存在。
若知道A还是B投出的，则用最大似然估计，就是利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值即可。
如果不知道每次抛的是哪个硬币呢？那么，我们就需要用EM算法，基本步骤为：1、给θA和θB一个初始值；2、（E-step）估计每组实验是硬币A的概率（本组实验是硬币B的概率=1-本组实验是硬币A的概率）。分别计算每组实验中，选择A硬币且正面朝上次数的期望值，选择B硬币且正面朝上次数的期望值；3、（M-step）利用第三步求得的期望值重新计算θA和θB；4、当迭代到一定次数，或者算法收敛到一定精度，结束算法，否则，回到第2步。
EM是一种解决存在隐含变量优化问题的有效方法。竟然不能直接最大化ℓ(θ)，我们可建立ℓ的下界（E步），再优化下界（M步），见下图第三步，取的就是下界
参考
https://www.cnblogs.com/lifegoesonitself/archive/2013/05/19/3087143.html
网友评论