- 分词工具调查
分词是指将一个文字序列按照某种规则和规范、重新组合形成词序列的一个过程。在英文的行文中，单词之间是以空格作为自然分界符的，而中文只是字、句和段能通过明显的分界符来简单划界，唯独词没有一个形式上的分界符，虽然英文也同样存在短语的划分问题，不过在词这一层上，中文比之英文要复杂得多、困难得多。
经过一定的搜索和了解，目前市场上存在有较多种分词工具，比较热门的几种如NLPIR（又名ICTCLAS）、jieba、paoding、IKAnalyzer等。这些分词工具分别在分词的准确度、歧义词切分、未登录词问题上有不同的解决方法，而其产生的分词结果页存在不同。经专家调查与评测，不同分词工具在各性能上存在的差异主要如下：
（数据来源：https://blog.csdn.net/sinat_26917383/article/details/52275328）
分词精度比较.png
分词工具各性能比较.png
以下着重对jieba和NLPIR进行介绍和使用结果报告，以比较两种分词工具的性能。
jieba分词工具
-
特点
1.支持三种分词模式：
a,精确模式，试图将句子最精确地切开，适合文本分析；
b,全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
c,搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
2.支持繁体分词
3.支持自定义词典
-
使用方法
1.jieba的安装
在python环境下输入 pip install jieba 即可进行安装，也可先下载http://pypi.python.org/pypi/jieba/ ，解压后运行python setup.py install 来完成jieba的安装。
jieba安装成功.png
2.jieba的使用
jieba分词工具安装完成后，可以使用jieba来完成分词、添加自定义词典、关键词提取、词性标注、并行分词、Tokenize（返回词语在原文的起始位置）等一系列操作。以下以jieba进行的分词操作为例：
分词代码.png
jieba分词结果.png
jieba可以根据不同的分词模式，返回不同的分词结果如上。jieba还有其他功能如对txt文件进行分词、进行词语频数统计等功能。将《白夜行》进行导入后，出现的相关词语频数统计如下：
词语频率统计代码.png
写入《白夜行》相应txt文件路径的运行结果.png
综上，jieba是一款性能较高的中文分词工具，它能够对给定的文本序列基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图。其分词的准确度较高，并具有基本且完善的分词功能。
NLPIR汉语分词系统
-
NLPIR的主要功能
中文分词；
词性标注；
命名实体识别；
用户词典功能；
支持GBK编码、UTF8编码、BIG5编码；
支持Windows,Linux,Android等操作系统；
支持Java/C++/C#/C等开发。
-
使用方法
NLPIR的下载
在NLPIR的官方网站即可找到NLPIR的工具包下载，即可得到NLPIR的工具包，具体工具包的使用需要在不同的语言环境下进行导入。
NLPIR分词工具包.png
NLPIR在线分词
以NLPIR官网提供的在线分词为例进行分词操作：
NLPIR在线分词.png
分析按钮的下方提供给用户多种分词功能，如文本分类、情感分析、地图可视化等操作，当点击开始分析后，常规的分词标注结果如下：
分词结果.png
由上述结果可以看出，NLPIR的在线分析操作相较于jieba操作更为简便。当下载NLPIR工具包后，则需要对NLPIR工具包进行相关的配置与导入。如：在java环境下，需要将下载的jna.jar放到classpath目录下，在eclipse中就是普通的手动添加jar包进行使用。
-
结论
NLPIR工具提供给用户更加简便快捷的在线分词操作方式，并允许用户在其接受的开放平台内进行相应的编辑。两种分词工具都有基本的分词功能与词数统计等基本功能，其中jieba在分词操作上给定了更多的分词方法，而NLPIR则提供了分词以外如生成可视化图、情感分析、文本分类等更多相关功能。两种分词工具的使用环境不同，都能够提供便于操作的分词入口与较高质量的分词结果。但相较而言jieba的分词更加灵活并有益于用户编辑，而NLPIR分词工具更容易上手且能够提供更多功能。
网友评论