再学习EM算法

作者: 闪电侠悟空 | 来源:发表于2022-11-15 14:28 被阅读0次

EM 算法是十大经典的机器学习算法，【PS:MC是二十世纪十大算法】

回顾下经典的EM算法，对其理解加深

直接 $\max p(x)$ 很难的，所以这里有两种方法转化为联合分布 $p(x,z|\theta)$ ；

第一种方法，可用琴生不等式处理。第二种方法，得到的是一个等式，详细的推导过程如下：
$\log p(x) = \log(\frac{p(x,z|\theta)}{p(z|x)})-\log(\frac{q(z)}{q(z)})$

$\log p(x) = \log(\frac{p(x,z|\theta)}{q(z)})-\log(\frac{p(z|x)}{q(z)})$
然后对在 $q(z)$ 的分布下求上式左右的期望，

$\log p(x) = \int q(z) \log p(x)dz = \int q(z)\log(\frac{p(x,z|\theta)}{q(z)})dz-\int q(z) \log(\frac{p(z|x)}{q(z)})dz$

$\log p(x) = ELBO(q,\theta)+KL$
其中ELBO是后面第一项，KL散度是后面的第二项；

怎么理解？

E-step

怎么理解？

M-step

改变 $\theta$ , 使得 $ELBO(q,\theta)$ 变的更大；
那么 $\log p(x|\theta)$ 也必然变大了；
实现：直接优化 $ELBO(q,\theta)$ , 具体为 $\max_\theta \int q(z)\log(\frac{p(x,z|\theta)}{q(z)})dz\propto$

$\int q(z)\log(\frac{p(x,z|\theta)}{q(z)})dz\propto \int q(z)\log(p(x,z|\theta))dz$ , 后面这个部分被称为complete-data log likelihood