概率无向图模型：
又称作马尔科夫随机场。所谓随机场，其实是由一种服从某种分布的随机变量组成的，场中某些点之间存在依赖关系，进而形成联合概率分布。
设一个联合概率分布P(Y)和表示它的无向图G=(V,E)，G中随机变量之间存在三种性质：
成对马尔科夫性：
如果u,v之间没有直接概率依赖，且它们对应的条件概率分别为，设u,v以外点的集合为O，对应的随机变量组为
，那么就称
在给定
的条件下是条件独立的，即：
局部马尔科夫性：
如果上述u,v中v变成一组点的集合W，与u有边直接相连的所有点的集合为o，同样的，称在给定
的条件下是独立的，即：
当时，有如下等价式：
全局马尔科夫性：
设无向图中集合A、B是被集合C分开的任意点集，对应的随机变量组分别为，那么有
在给定
的条件下是条件独立的。
全局马尔科夫性
满足以上三种性质任意之一的概率无向图都称为马尔科夫随机场。下面介绍概率无向图中的因子分解机制
概率无向图模型的因子分解
团与最大团：团(Clique)中任意两点之间都有边连接，若向团中再加入任何一点都不再保持团的性质，此时的团就是最大团。
将无向图用最大团做因子分解
设有是无向图G上最大团的集合，那么无向图的概率分布可以分解成它们对应的势函数
的乘积，其数学形式为：
，其中i为G中最大团的数量，Z为归一化因子，形式如下：
规范化因子Z确保了P(Y)是一个概率分布（概率分布中每种取值的概率和应为1）。
另外，注意势函数通常定义为指数函数：
从马尔科夫随机场到条件随机场
理解了MRF之后，再理解CRF就非常清晰了：CRF是MRF中只有两种变量：X和Y的一种特殊形式（X是输入，Y是给定X时的输出，在词性标注中，X是词，Y是词性），若Y构成马尔科夫随机场，此时条件概率P(Y|X)就是条件随机场。
线性链条件随机场
当X和Y均为相同长度的线性链表示的随机变量序列时，在给定X的情况下，Y的条件概率分布P(Y|X)构成条件随机场，即满足马尔科夫性：
则称P(Y|X)为线性链条件随机场。
将转化为X和Y序列上每个节点对应的特征函数后，再结合无向图概率分布的因子分解，可以得到Linear-Chain CRF的数学定义：
令X，Y为随机变量，为参数向量，
是一组实值特征函数，概率分布P(Y|X)的公式为：
，其中Z是和输入有关的归一化函数：
此处的参数向量可以理解为特征函数集合对应的概率序列（可以结合期望的定义理解），t表示随机变量序列的长度，k是特征函数的个数。不难想象，上面的函数可以表示为下图：
当然，也可以有更多的表现形式，如果将特征函数中输入序列
具体化：
为X添加context窗口
或者
网友评论