n-gram

作者: 徐振杰 | 来源:发表于2018-12-19 15:20 被阅读0次

n-gram的数据平滑方法

  1. 拉普拉斯平滑:缺点都在分子上加一,而大部分n-gram都是没有出现过的,这样就会给他们分配过多的概率空间
  2. add-K:也就是加一个小于一的k,这样虽然比拉普拉斯平滑要好,但是要人工确定
  3. 内插法:他的理由是既然高阶的n-gram可能为哦,那么低阶的n-gram应该不会是零,所以高阶的可以由低阶的加权平均。
  4. 回溯法:尽可能用高阶的n-gram,但是如果高阶的n-gram不存在,那么就用低阶的n-gram再乘上一个\alpha

n-gram

相关文章

  • Text Analysis

    NPL Natural Text Processing 基本上就是个词没什么意思 N-gram 所谓N-gram就...

  • n-gram

    n-gram的数据平滑方法 拉普拉斯平滑:缺点都在分子上加一,而大部分n-gram都是没有出现过的,这样就会给他们...

  • N-gram

    N-gram模型是一种语言模型(Language Model,LM),语言模型是一个基于概率的判别模型,它的输入是...

  • n-gram模型创建与分析

    n-gram模型:在自然语言里有一个模型叫做n-gram,表示文字或语言中的n个连续的单词组成序列。在进行自然语言...

  • n-gram模型

    n-gram模型 N-Gram是一种基于统计语言模型的算法。它的基本思想是将文本里面的内容按照字节进行大小为N的滑...

  • 自然语言处理中的N-Gram模型详解

    1.自然语言处理中的N-Gram模型详解

  • 语言模型笔记

    参考n-gram: https://blog.csdn.net/songbinxu/article/details...

  • N-gram 分词

    概述 本课程作业主要借助python工具,实现了N-gram分词中的Unigram和Bigram分词器,并将前向最...

  • N-gram标注

    一元标注 基于统计为单词分配最有可能的标记,注意不要将训练数据和测试数据混合在一起。会导致标注未知文本的时候得分低...

  • video caption评价标准简介

    1.BLEU 1.1 N-gram precision 观察如下示例:candidate1的1-gram pr...

网友评论

      本文标题:n-gram

      本文链接:https://www.haomeiwen.com/subject/zjsjkqtx.html