概率图模型

概率图模型（Probabilistic Graphic Model），能够很好地挖掘潜在的内容。

概率图中地节点分为隐含节点和观测节点，边分为有向边和无向边。从概率论的角度，节点对应于随机变量，边对应于随机变量的依赖或相关关系，其中有向边表示单向的依赖，无向边表示互相依赖。

概率图模型分为贝叶斯网络（Bayesian Network）和马尔可夫网络（Markov Network）两大类。贝叶斯用有向图结构表示，马尔可夫网络用无向图的网络结构表示。

概率图模型包含朴素贝叶斯模型、最大熵模型、隐马尔可夫模型、条件随机场、主题模型等等。

贝叶斯联合概率分布

左边为贝叶斯网络，右边为马尔可夫网络

贝叶斯网路和马尔可夫网络
由图可见，在给定A的条件下，B和C是条件独立的，基于条件条件概率的定义可得
贝叶斯网路和马尔可夫网络
显然这里只有(A,B)、(A,C)、(B,D)、(C,D)构成团，且是最大团。联合概率密度可以表示为

如果使用上面的指数函数作为势函数，则有

得