参考：
StackExchange
Variational Inference: A Review for Statisticians
这个问题是变分推断(variational inference)的一个基础问题。很奇怪的是，我没有在中文社区发现这个问题的详细解释。下面通过一个例子，来解释这个问题。
问题描述
符号定义：表示观察变量，
表示隐变量，它们的联合概率密度为
。
目标：求解条件概率。在贝叶斯框架下，这一过程叫做推断，而
叫做后验概率。
后验概率密度：
其中被称为“证据”（evidence）
下面的例子用来说明，证据的积分形式通常没有闭式解。
例子：混合高斯模型的后验概率估计
设有个混合分支，分支的均值集合为
，这些均值服从高斯分布
，其中参数
表示方差。采样
次得到
。
每个观察数据的产生过程如下：从类别
中选出一个分支，记为
，其数学形式为one-hot（一个长为
的向量，其中一位是1，其余位是0）。从（另一个）高斯分布
采样，得到
。连续采样n次。
即：
联合概率密度为：
隐变量。
证据为：
。
上式中，每一个都无法从连乘项里分离出来，所以计算该积分的复杂度为
，为K的指数级别的复杂度。所以一般没有闭式解（intractable）。
（想象某个场景，在10个混合分支中，采样100个点，计算该积分的复杂度高达!）
ELBO（证据下界）
对目标求解，一味蛮干是行不通的。通行的做法有两种，要么通过蒙特卡洛法近似，要么通过变分推断近似。这里介绍后一种。
我们利用容易处理的“代理人”函数近似
。
其中KL表示相对熵，由定义，
由此可见，
定义
。
最大化ELBO就是最小化，成功避开计算
。
网友评论