理解crf

作者: AIdog | 来源:发表于2017-10-20 12:50 被阅读0次

作者:milter
链接:https://www.zhihu.com/question/35866596/answer/139485548
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

假设你有许多小明同学一天内不同时段的照片,从小明提裤子起床到脱裤子睡觉各个时间段都有(小明是照片控!)。
现在的任务是对这些照片进行分类。比如有的照片是吃饭,那就给它打上吃饭的标签;有的照片是跑步时拍的,那就打上跑步的标签;有的照片是开会时拍的,那就打上开会的标签。
问题来了,你准备怎么干?
一个简单直观的办法就是,不管这些照片之间的时间顺序,想办法训练出一个多元分类器。就是用一些打好标签的照片作为训练数据,训练出一个模型,直接根据照片的特征来分类。例如,如果照片是早上6:00拍的,且画面是黑暗的,那就给它打上睡觉的标签;如果照片上有车,那就给它打上开车的标签。这样可行吗?乍一看可以!但实际上,由于我们忽略了这些照片之间的时间顺序这一重要信息,我们的分类器会有缺陷的。
举个例子,假如有一张小明闭着嘴的照片,怎么分类?显然难以直接判断,需要参考闭嘴之前的照片,如果之前的照片显示小明在吃饭,那这个闭嘴的照片很可能是小明在咀嚼食物准备下咽,可以给它打上吃饭的标签;如果之前的照片显示小明在唱歌,那这个闭嘴的照片很可能是小明唱歌瞬间的抓拍,可以给它打上唱歌的标签。
所以,为了让我们的分类器能够有更好的表现,在为一张照片分类时,我们必须将与它相邻的照片的标签信息考虑进来。这——就是条件随机场(CRF)大显身手的地方!

从例子说起——词性标注问题-----啥是词性标注问题?

非常简单的,就是给一个句子中的每个单词注明词性。比如这句话:“Bob drank coffee at Starbucks”,注明每个单词的词性后是这样的:“Bob (名词) drank(动词) coffee(名词) at(介词) Starbucks(名词)”。下面,就用条件随机场来解决这个问题。
以上面的话为例,有5个单词,我们将:(名词,动词,名词,介词,名词)作为一个标注序列,称为l,可选的标注序列有很多种,比如l还可以是这样:(名词,动词,动词,介词,名词),我们要在这么多的可选标注序列中,挑选出一个最靠谱的作为我们对这句话的标注。
怎么判断一个标注序列靠谱不靠谱呢?
就我们上面展示的两个标注序列来说,第二个显然不如第一个靠谱,因为它把第二、第三个单词都标注成了动词,动词后面接动词,这在一个句子中通常是说不通的。假如我们给每一个标注序列打分,打分越高代表这个标注序列越靠谱,我们至少可以说,凡是标注中出现了动词后面还是动词的标注序列,要给它减分!
上面所说的动词后面还是动词就是一个特征函数,我们可以定义一个特征函数集合,用这个特征函数集合来为一个标注序列打分,并据此选出最靠谱的标注序列。也就是说,每一个特征函数都可以用来为一个标注序列评分,把集合中所有特征函数对同一个标注序列的评分综合起来,就是这个标注序列最终的评分值

相关文章

  • CRF

    条件随机场(CRF)的理解如何轻松愉快地理解条件随机场(CRF)?条件随机场(CRF)如何直观地理解条件随机场,并...

  • 理解crf

    作者:milter链接:https://www.zhihu.com/question/35866596/answe...

  • CRF的理解

    之前写过一篇关于CRF的文章,当时写完还是云里雾里的感觉,今天重新深入看了一下,其实我当时的主要疑问是如何最小化负...

  • 对CRF的理解

    定义: 条件场是随机变量的集合,这些随机变量根据概率分布被赋予相应的值。 形象比喻: 假设你有一组关于 Justi...

  • 学习CRF

    最近在看李航的《统计学习》里面的CRF一章,看到CRF的矩阵形式部分,发现无论怎么都理解不了。网上查了半天...

  • 使用CRF++进行模型训练

    使用CRF++进行模型训练 本机训练: 使用以下命令: nohup ./CRF++-0.58/crf_learn ...

  • Mac安装CRF++

    在mac中安装crf++环境 crf + python 下载crf工具包下载地址https://taku910.g...

  • 使用conlleval.pl对CRF测试结果进行评价的方法

    作者:炼己者 1. 基于CRF做命名实体识别系列 用CRF做命名实体识别(一)用CRF做命名实体识别(二)用CRF...

  • pytorch-crf

    官方文档:pytorch-crf — pytorch-crf 0.7.2 documentation[https:...

  • Transformer面试基础:

    HMM 和 CRF 区别: 1.HMM是生成模型,CRF是判别模型 2.HMM是概率有向图,CRF是概率无向图 3...

网友评论

      本文标题:理解crf

      本文链接:https://www.haomeiwen.com/subject/prxvuxtx.html