1、现有的分词工具
中科院计算所NLPIR
ansj分词器
哈工大的LTP
清华大学THULAC
斯坦福分词器
Hanlp分词器
结巴分词
KCWS分词器(字嵌入+Bi-LSTM+CRF)
ZPar
IKAnalyzer
2、MLPIR与jieba的对比
首先，用MLPIR进行线上的分词分析。
原版文字.png
MLPIR分词png
jieba源码.png
jieba分词.png
可以看出，MLPIR在分词的同时，把分词结果的词性也同时分离出来，而jieba的分词结果只是单纯的进行了分词；同时，MLPIR与jieba的分词结果也显示了两个分词工具有着不同的词库，例如“六道”在MLPIR的词库中是不存在的，所以它分出了“六”“道”，而jieba这是直接分出了“六道”这个词。
3、jieba分词练习
3.1关键词的提取
关键词提取源码.png
关键词提取结果.png
关于分词工具包的体验：分词练习2——分词体验 现有的分词工具包 （1）NLPIR NLPIR汉语分词系统，又名IC...
使用ICTCLAS（NLPIR）在线分词工具和jieba分词组件进行分词练习。 一. ICTCLAS 1.简介 汉...
接分词练习1——分词工具包 分词效果尝试 接下来我将体验NLPIR和jieba分词的效果，其中，NLPIR使用在线...
一、实验目标 尝试使用jieba对《龙族》进行分词，并进行分词效果比较分析 二、使用工具 在线分词工具、jieba...
1.常用的分词工具包 perminusminusStanford 汉语分词工具哈工大语言云ICTCLAS——Ans...
在本次分词练习中，使用文本如下： 菊外人指不知道王菊是谁，也没看过创造101，但是已经被给王菊投票相关信息包围的人...
一、使用jieba进行分词1. 中文分词(Chinese Word Segmentation)指将一个汉字序列切分...
一、jieba分词1.在cmd中安装结巴分词 python setup.py install 并在python环境...
1、现有的分词工具中科院计算所NLPIRansj分词器哈工大的LTP清华大学THULAC斯坦福分词器Hanlp分词...
实验内容： 使用Python分词模块：Jieba，对四川大学公共管理学院2015-2018年308条新闻内容进行分...
本文标题：分词练习
本文链接：https://www.haomeiwen.com/subject/djgbjftx.html
网友评论