美文网首页NLP
自然语言处理——5.5 语言模型(应用举例)

自然语言处理——5.5 语言模型(应用举例)

作者: SpareNoEfforts | 来源:发表于2018-10-03 23:09 被阅读4次

汉语分词问题

1. 做如下约定

把一个可能的词序列 W 转换成词类序列C = c_1c_2...c_N,即:

  • 专有名词:人名PN、地名LN、机构名ON分别作为一类;
  • 实体名词中的日期dat、时间tim、百分数per、货币mon 等作为一类;
  • 对词法派生词MW和词表词LW,每个词单独作为一类。



分词与词性标注一体化方法










相关文章

网友评论

    本文标题:自然语言处理——5.5 语言模型(应用举例)

    本文链接:https://www.haomeiwen.com/subject/bkmtaftx.html