美文网首页
概率图模型基础(3)——贝叶斯网络的独立性

概率图模型基础(3)——贝叶斯网络的独立性

作者: To_QT | 来源:发表于2019-08-29 08:32 被阅读0次

1. 贝叶斯网的基本独立性

学生成绩

在学生成绩示例图中,用边表示其直接依赖关系。

根据上一节概率图模型基础(2)——贝叶斯网络中的因果关系,在节点的独立性方面,可以得出什么结论呢?

局部独立性定义

在学生成绩的例子中:在给定父节点Grade的情况下,Letter与图中其他节点都独立。有P(L \perp I,D,S|G)成立。


2. 图与分布

2.1 d-sep_G(X,Y|Z)

2.1.1 定义

d-sep_G(X,Y|Z):在概率图中,在给定结点Z的条件下,结点X和结点Y存在有效(只要是结点连着的,不管方向对不对就称为),若结点X和结点Y相互独立,则可以表示为d-sep_G(X,Y|Z)

示例:

image.png
若G为不观测变量则S与D的关系可表示为:
d-sep_G(S,D|I)

具体如何判断 d-分离,请参考《概率图模型基础(2)——贝叶斯网络中的因果关系》文中第 3.2 结:贝叶斯网络中各节点如何相互影响?

扩展:
与d-separate 相对应的独立性的集合用I(G)表示:
I(G)=\left \{ (X \perp Y | Z): d-sep_G(X; Y | Z) \right \}

2.1.2 寻找所有d-sep
思路:

在寻找之前,确保有:观测变量Z的集合;贝叶斯网络图结构。
1.从下到上,从叶子结点到根的遍历图结构,标记Z及其后代的所有节点。

  1. 使用广度优先遍历,遇到如下情况停止,说明不存在d-sep,否则,说明存在d-sep:
    a. 节点在v-结构中间,但在第一步中未被标记。
    b. 节点不在v-结构中间,但是在第一步中被标记了。
代码实现

留坑。

2.2 I-maps(independency map)是啥?

I-map:记贝叶斯网络为G,概率分布为P,若G中表现出的独立性的集合是P中表现出的独立性的集合的子集。则GP的一个I-map。比如

概率图模型-原理与技术.png
对于来说,,未连接,故而,独立。
对于来说,影响,故而,不独立,表现出的独立性为。
对于来说,影响,故而,不独立,表现出的独立性为。

对于左图来说,P(X,Y)=P(X)P(Y),所以X,Y独立。而\varnothing可归为任何分布P的I-map,所以三个图都是P的I-map。
对于右图来说,P(X,Y) \neq P(X)P(Y),所以X,Y不独立。而\varnothing可归为任何分布P的I-map,所以只有G_{X\rightarrow Y},G_{Y \rightarrow X}是P的I-map。


3. 参考文献

Coursera——Probabilistic Graphical Models

相关文章

  • 概率图模型基础(3)——贝叶斯网络的独立性

    1. 贝叶斯网的基本独立性 在学生成绩示例图中,用边表示其直接依赖关系。 根据上一节概率图模型基础(2)——贝叶斯...

  • 朴素贝叶斯

    理论基础 条件概率:朴素贝叶斯最核心的部分是贝叶斯法则,而贝叶斯法则的基石是条件概率。贝叶斯法则如下: 词集模型:...

  • 朴素贝叶斯

    贝叶斯是生成模型贝叶斯做了条件独立性假设贝叶斯的后验概率最大是由期望风险最小化得出的 为什么要做拉普拉斯变换? 拉...

  • 数学

    概率统计 (1)极大似然思想(2)贝叶斯模型(3)隐变量混合概率模型,EM思想基础的典型分布:正态(高斯)分布。 ...

  • 朴素贝叶斯概述

    朴素贝叶斯本质上是一种简单的概率图模型 朴素贝叶斯与LR的区别?简单来说:朴素贝叶斯是生成模型,根据已有样本进行贝...

  • 【机器学习】贝叶斯概率思维笔记

    课程来源 知乎live-贝叶斯概率思维 目录 贝叶斯概率 贝叶斯定理 贝叶斯估计 贝叶斯网络 推荐书籍 涉及名词 ...

  • (8)生成式模型与判别式模型

    生成式模型:利用联合概率分布求条件概率分布,基于贝叶斯公式;贝叶斯模型,隐马尔可夫模型 判别式模型:直接求取决策函...

  • 机器学习-概率图模型初探

    outline 数学基础 HMM CRF 主题模型 数学基础 贝叶斯公式: 联概 = 条概*边概条件概率 = 联合...

  • 现代AI课程考试内容相关博客资料

    苏老师 理解概率图模型中的有向分离(d-separation) 贝叶斯网络有向图 MCMC算法学习总结(马尔科夫蒙...

  • 宗成庆自然语言理解笔记 02 数学基础

    2.1 概率论基础 全概率公式 贝叶斯法则(Bayes' theorem) 贝叶斯决策理论(Bayesian de...

网友评论

      本文标题:概率图模型基础(3)——贝叶斯网络的独立性

      本文链接:https://www.haomeiwen.com/subject/sccmectx.html