条件随机场 CRF(1)

1. 概率的图表示

对于如下的无向图 G(E, V).
如果图中每个节点表示一个变量, 且对于图中的每个节点, 在给定了其邻节点的概率下,该节点和其他节点独立, 则称这个分布为一个马尔科夫场. 该图和这个分布是一一对应的.

具体而言,该图表示概率分布 P(x1, x2, x3, x4, x5).
且该分布具备性质:
P(x1 | x2, x4) = P( x1 | x1, x2, x3, x4, x5)
P(x2 | x3, x5) = P( x2 | x1, x2, x3, x4, x5)
P(x3 | x2, x4) = P( x3 | x1, x2, x3, x4, x5)
P(x4 | x1, x3, x5) = P( x4 | x1, x2, x3, x4, x5)
P(x5 | x2, x4) = P( x5 | x1, x2, x3, x4, x5)

2. 概率的表示形式

对于上述图表示的分布,其概率具备以下的形式:

其中, Cg 表示图中所有最大团的集合. 至于为什么具有这种形式,请参见如下链接:
http://www.vis.uky.edu/~cheung/courses/ee639/Hammersley-Clifford_Theorem.pdf

3. 另外一种表示

对于如下的图

在对应的概率分布中,有如下两种形式:

所以后面为了防止歧义,可以采用第二种表示形式. 第二种形式到第一种形式的转换如下,同一个黑色矩形块的几个节点直接扩展成全连接即可.

4. 条件随机场

定义: 假设有 G(X, Y) 若对于任意 x, p(y | x) 可以和图G一一对应,则p(y|x) 为条件随机场. 条件随机场相比较与马尔科夫场放松了要求, 不要求 x 分布的概率独立性.

如上图, 给定 x 的情况下, y 之间符合独立性假设, 则 y 的概率分布 p(y) 具备(2) 中的形式. 此时的
p(y) = p(y|x) , x 作为一个固定值参与计算 p(y), 公式如下:

5. CRF 应用

对于团的概率分布,采用的概率假设:

其中 f 为特征函数, 特征函数一般采用 0/1 特征.
对于 CRF++, 采用了如下的线性链结构: