官网：http://ictclas.nlpir.org/ 含有下载地址及网站事例
工具github地址：https://github.com/NLPIR-team
首先NLPIR拥有非常强大的功能
看到首页下面这些工具的位置
NLPIR种包含这些功能的许可证，SDK开发文档，NLPIR是一个开源系统，许可证免费下载，使用期一个月，过期后重新下载
一. NLPIR-ICTCLAS 中文分词工具
（1）介绍
在https://github.com/NLPIR-team页面可以找到NLPIR-ICTCLAS项目
点击clone and download ,加压压缩包，得到的目录如下
在idea或eclipse中打开项目（该项目是由eclipse编译的，使用eclipse能更少出错），我在这里使用的是idea
文件目录下看到文件结构如下
data_train代表测试数据
lib代表需要依赖的包
resources代表一些操作系统上的支持工具 支持linux和windows
seg.txt代表运行结果产生的文本
/src/.../test 里面的NLPIRTest代表测试写的类
/src/... 中的NLPIR代表开发的类，类中的函数代表可以调用的函数 ，开发文档为https://github.com/NLPIR-team/NLPIR/tree/master/NLPIR%20SDK/NLPIR-ICTCLAS/doc
（2）运行sample
在运行sample的时候可能会遇到问题，比如不兼容，项目找不到资源文件，许可证过期的情况
对于许可证过期的情况：
在地址https://github.com/NLPIR-team/NLPIR/tree/master/License/license%20for%20a%20month/NLPIR-ICTCLAS%E5%88%86%E8%AF%8D%E7%B3%BB%E7%BB%9F%E6%8E%88%E6%9D%83中下载许可证
将下载的许可证复制到项目的/lib/data下面，替代原来的许可证
运行之后，看到下图代表成功
结果在seg.txt中
（3）NLPIRTest.java代码解析
package com.lingjoin.nlpir.test;
import java.io.File;
import java.io.FileWriter;
import java.io.RandomAccessFile;
import java.util.ArrayList;
import java.util.List;
import com.lingjoin.nlpir.NLPIR;
public class NLPIRTest {
Listfiles=new ArrayList();
public void getAllfiles(File filePath){//遍历路径下的所有文件
File[] fsFiles=filePath.listFiles();
for(File f:fsFiles){
if(f.isFile()&&!f.getName().equals(".DS_Store"))files.add(f.getPath());
if(f.isDirectory())this.getAllfiles(f);
}
}
public StringgetContent(File file)throws Exception{//获取每个文本的内容，并处理
RandomAccessFile f=new RandomAccessFile(file, "r");
byte[] b=new byte[(int) file.length()];
f.read(b);
f.close();
String c=new String(b,"GBK").replaceAll("\\s", "");//每两个字节组成一个汉字并去掉空格
return c;
}
public static void main(String[] args)throws Exception{
NLPIR.init("lib");//初始化支持库
//NLPIR.importUserDict("");
FileWriter fw=new FileWriter(new File("seg.txt"));
String fPath="data_train";
NLPIRTest test=new NLPIRTest();
test.getAllfiles(new File(fPath));
for(String f:test.files){//遍历每一个文件
System.out.println(f);//输出文件名
String con=test.getContent(new File(f));//获取文本内容
fw.write(new File(f).getName()+"\t"+NLPIR.paragraphProcess(con, 1).replaceAll(" ", "\t")+"\n");
//文件输出到seg.txt,格式为文件名+每个分词+空格；分完一个文本后回车
}
fw.flush();
fw.close();
}
}
(4)结果部分展示
4-1_01 新华社/nt 照片/n ，/wd 枣庄/ns （/wkz 山东/ns ）/wky ，/wd 2016年/t 8月/t 30日/t 山东/ns 枣庄/ns 出现/v “/wyz 鱼鳞/n 云/vg ”/wyy 这/rzv 是/vshi 8月/t 30日/t 在/p 山东省/ns 枣庄市/ns 山亭区/ns
（5）分词后缀解释
汉语词性对照表地址：https://blog.csdn.net/kevin_darkelf/article/details/39520881
网友评论