最近看《统计学习方法》，其中有一些内容没接触过，现在简单描写一下。

一、概率无向图

其实就是把一个联合概率P(X1,X2,X2,Y1,Y2,Z1)用一个图表现出来，表现出来后能够通过一定的方法分解（P(X1,X2,X3),P(Y1,Y2),P(Z1    )）从而便于求改联合概率X1。其中要想将一个联合概率表示成有向无环图还要涉及到一些性质

二、条件随机场

其实就是一种表示联合概率的方法/求解联合概率的方法。主要从两个角度解释此概念。

（一）以一个实际例子-----词性标注表示条件随机场的意义

1、直观理解

想要给一个句子 yesterday i bought a car。进行词性标注为 yesterday （adv.） i (n.) bought(v.) a (art.) car (n.)就是词性标注。其中adv.n.v.art.n.就是一个标注序列。

可以看出词性标注其实就是给一个句子选定一个标定序列，那么怎样判断一个标定序列靠不靠谱呢？

很明显，如果一个标注序列中出现了两个动词连在一起的情况，这就范了语法错误。而如果一个动词后接了一个名词，或者一个借此后接了一个名词，我们就认为这是靠谱的。把这些各种评分方式表示为一系列特征函数。定义一个特征函数集合，用这个特征函数集合来为一个标注序列打分，并据此选出最靠谱的标注序列。也就是说，每一个特征函数都可以用来为一个标注序列评分，把集合中所有特征函数对同一个标注序列的评分综合起来，就是这个标注序列最终的评分值。

2、数学表述

（1）特征函数

特征函数可以表示为

f(s,i,l_i,l_i1)

其中：

- 句子s（就是我们要标注词性的句子）

- i，用来表示句子s中第i个单词

- l_i，表示要评分的标注序列给第i个单词标注的词性

- l_i-1，表示要评分的标注序列给第i-1个单词标注的词性。

它的输出值是0或者1,0表示要评分的标注序列不符合这个特征，1表示要评分的标注序列符合这个特征

（2）联合概率

我们对所有的特征函数福语权重，之后相加，其实就得到了某句子的合理性评分，即如下公式

某句子的合理性评分词性角度） 指数标准化的概率

（3）一些特征函数的例子

（a）当l_i是“副词”并且第i个单词以“ly”结尾时，我们就让f1 = 1，其他情况f1为0。不难想到，f1特征函数的权重λ1应当是正的。而且λ1越大，表示我们越倾向于采用那些把以“ly”结尾的单词标注为“副词”的标注序列

（b）如果i=1，l_i=动词，并且句子s是以“？”结尾时，f2=1，其他情况f2=0。同样，λ2应当是正的，并且λ2越大，表示我们越倾向于采用那些把问句的第一个单词标注为“动词”的标注序列。

（c）如果i=1，l_i=动词，并且句子s是以“？”结尾时，f2=1，其他情况f2=0。同样，λ2应当是正的，并且λ2越大，表示我们越倾向于采用那些把问句的第一个单词标注为“动词”的标注序列。

(4)小结：

为了建一个条件随机场，我们首先要定义一个特征函数集，每个特征函数都以整个句子s，当前位置i，位置i和i-1的标签为输入。然后为每一个特征函数赋予一个权重，然后针对每一个标注序列l，对所有的特征函数加权求和，必要的话，可以把求和的值转化为一个概率值。

（二）、以《统计学习方法》书上的知识进行科学定义

1、概率图模型

图是由结点及连接结点的边组成的集合。结点和边分别记作 v 和 e ，结点和边的集合分别记作 V 和 E ，图记作 G=(V,E) ，无向图是指边没有方向的图。概率图模型（PGM） 是由图表示的概率分布。设有联合概率分布 P(Y)P(Y) ，Y∈YY∈Y 是一组随机变量。由无向图 G 表示概率分布，即在图 G 中，结点 v∈Vv∈V 表示一个随机变量 YvYv， Y=Yv|v∈VY=Yv|v∈V；边 e∈Ee∈E 表示随机变量之间的概率依赖关系。

（1）无向图表示的随机变量之间的一些存在关系

（a）成对马尔可夫性

两个点之间无边连接，给定剩下的点，这两个点之间条件独立

（b）局部马尔科夫性

一个点v和任何以该点有边连接的点w，出去v和w剩下的点记作o，给定 w，v和o条件独立

（c）全局马尔可夫性

a,b为两个被c集合分开的点集合 ，给定c，a,b条件独立.

（2）概率图模型

某一个联合概率P（Y）满足上述3个性质中的任意一条，就称此联合概率分布为概率无向图模型或马尔可夫随机场。