- 每个像素点作为节点，像素与像素间的关系作为边，即构成了一个条件随机场。通过二元势函数描述像素点与像素点之间的关系，鼓励相似像素分配相同的标签，而相差较大的像素分配不同标签，而这个“距离”的定义与颜色值和实际相对距离有关。所以这样CRF能够使图片在分割的边界出取得比较好的效果。
全连接条件随机场与稀疏条件随机场的最大差别在于：每个像素点都与所有的像素点相连接构成连接边。这就恐怖了，如果一张图像是100*100，那么就相当于有10000个像素点，因此如果采用全连接条件随机场的话，那么就会构造出约10000*10000条边。如果图像大小再大一些，那么就会变得非常恐怖，普通条件随机场推理算法，根本行不通。
目标函数：
image.png
(1)能量方程的第一项Ψu(xi)，称之为一元势函数，用于衡量当像素点i的颜色值为yi时，该像素点属于类别标签xi的概率。这个从直观上可以这么理解：假如一个像素点的颜色值yi是绿色，那么它属于草地的概率应该比较大；假如一个像素点颜色值是蓝色，那么它属于天空的概率应该比较大，这就是这个能量项的作用。在深度还未杀入这个领域之前，以前的算法第一项一元函数势能一般是通过SVM等分类器训练得到的，或者通过构建每个类别的高斯混合模型（构建每个类别的高斯混合模型，这样当一个像素点的值为yi的时候，我们就可以计算出此像素点属于每个类别的概率值，类似图像分割Grab cut算法）。
不过现在有了CNN了，这一个能量项我们可以直接通过CNN计算出来，因为CNN训练完毕后，可以输出每个像素点，属于每个类别的概率值。DeepLab这篇文献的算法就是用CNN输出，作为CRF的一元势能量。
(2)能量方程的第二项成对势函数Ψp(xi,xj)。用于衡量两事件同时发生的概率p(xi,xj)，或者说的简单一点就是：我们希望两个相邻的像素点，如果颜色值yi、yj非常接近，那么这两个像素点xi、xj属于同一个类别的概率应该比较大才对；反之如果颜色差异比较大，那么我们分割的结果从这两个像素点裂开的概率应该比较大才对。这一个能量项正是为了让我们的分割结果，尽量的从图像边缘的地方裂开，也就是为了弥补前面所说的FCN分割的不足之处。
网友评论