变分法相关小知识

作者: 顾劝劝 | 来源:发表于2021-07-27 14:29 被阅读0次

ELBO（Evidence Lower Bound）证据下界

我们有可观测数据集 $x_{1:n}$ ，有不知从哪找来的隐变量 $z_{1:n}$ ，贝叶斯推理需要求解的是条件概率 $p(z|x)$
$p(z|x)=\dfrac{p(z,x)}{p(x)}$
对于很多模型而言，计算 $p(x)$ 很困难
$p(x)=\int p(z,x)dz$
所以我们干脆不用贝叶斯来算这个条件概率。变分推断为此登场。它的目标就是有找到一个概率密度 $q(z)$ 来近似 $p(z|x)$ 使得两个分布尽量相近。分布距离用KL-散度表示
$q^*(z)=\arg\min_{q(z)\in \mathcal{Q}} KL(q(z)||p(z|x))$
其中KL-散度可以表示为
$KL(q(z)||p(z|x))=\mathbb{E} [\log q(z)] -\mathbb{E} [\log p(z,x)] + \log p(x)$
因为距离非负，所以移项后有
$\log p(x) \geq \mathbb{E} [\log p(z,x)] -\mathbb{E} [\log q(z)]$
左边是证据的对数，右边就是证据下界。