美文网首页
变分法相关小知识

变分法相关小知识

作者: 顾劝劝 | 来源:发表于2021-07-27 14:29 被阅读0次

ELBO（Evidence Lower Bound）证据下界

我们有可观测数据集 x_{1:n}， 有不知从哪找来的隐变量z_{1:n}，贝叶斯推理需要求解的是条件概率p(z|x)
p(z|x)=\dfrac{p(z,x)}{p(x)}
对于很多模型而言，计算p(x)很困难
p(x)=\int p(z,x)dz
所以我们干脆不用贝叶斯来算这个条件概率。变分推断为此登场。它的目标就是有找到一个概率密度q(z)来近似p(z|x)使得两个分布尽量相近。分布距离用KL-散度表示
q^*(z)=\arg\min_{q(z)\in \mathcal{Q}} KL(q(z)||p(z|x))
其中KL-散度可以表示为
KL(q(z)||p(z|x))=\mathbb{E} [\log q(z)] -\mathbb{E} [\log p(z,x)] + \log p(x)
因为距离非负，所以移项后有
\log p(x) \geq \mathbb{E} [\log p(z,x)] -\mathbb{E} [\log q(z)]
左边是证据的对数，右边就是证据下界。

相关文章

  • 变分法相关小知识

    ELBO（Evidence Lower Bound）证据下界 我们有可观测数据集 ， 有不知从哪找来的隐变量，贝叶...

  • 无标题文章

    I.数学基础-1.运筹学-变分法 《变分法基础》 1.3.1 方向导数及梯度 方向导数:$$\frac{\part...

  • 变分法

    泛函的概念 https://www.bilibili.com/video/av34639197?from=sear...

  • 变分法

    定义：使用变分，即function和functional的很小的变化来寻求函数的最大值和最小值：从一系列函数映射到...

  • 测试markdown

    工作相关小知识---SAP 生活相关---带娃

  • 小RNA相关知识

    PTGS或RNA沉默：某基因能够正常转录，但是其mRNA不能正常翻译成蛋白质 内源性小RNA的生物合成 >在RNA...

  • 喝酒相关小知识

    乙醇脱氢酶 乙醛脱氢酶 酸奶只是保护胃 想多喝点可以多吃/喝： 油腻，肉（红烧肉等） 果酸，果糖解酒（果汁之类的）...

  • 小程序云开发实现短信验证

    废话不多说，先上效果 一、用到的相关知识点 1.腾讯云中的消息接口 2.小程序云开发相关知识点 3.小程序相关知识...

  • 相关小知识点

    &和&&的区别 &和^,<<,<<<,|同属于位运算符,其中&是按位与,例如,1&1=1，1&0=0 &&是逻辑运...

  • 相关小知识点

    Count(null) = 0 Sum(null) = null null + 1 = null 根据得分进行排名...

网友评论

      本文标题：变分法相关小知识

      本文链接：https://www.haomeiwen.com/subject/zpkomltx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|变分法相关小知识|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！