EM算法

最大似然估计(MLE)：

MLE是利用已知的样本结果，反推最有可能导致这样结果的参数值（θ）得计算过程，MLE的目标就是找出一组参数，使得模型产出观察数据的概率最大

MLE求解过程：

编写似然函数（即联合概率函数）{似然函数：在样本固定的情况下，样本出现的概率与参数θ之间的函数}

对似然函数取对数，并整理

求导数

解似然方程

最大后验概率估计（MAP）

MAP和MLE一样，都是通过样本估计θ，在MLE中，是使似然函数P（x|θ）最大的时候的θ值，MLE中假设先验概率是一个等值；在MAP中则是求θ使得P（x|θ）P（θ）的值最大，这也就是要求θ值不仅仅是让似然函数最大，同时要求θ本身出现的先验概率比较大。

EM算法:

Expectation Maximizaton Algorithm,最大期望算法，是一种迭代类型算法，是一种在概率模型中寻找参数最大似然估计或者最大后验概率估计的算法，其中概率模型依赖于无法观测的隐藏变量。

EM算法流程：

初始化分布参数：

重复下面步骤知道收敛：

    E步骤：估计隐藏变量的概率分布期望函数；

    M步骤：根据期望函数重新估计分布参数。

假定样本数据中存在隐含数据z={z1，z2,...,zk}此时极大化模型分布的对数似然函数如下：

Jensen 不等式

EM算法原理：