分词——Jieba

（一）分词

1、在云服务上安装jieba

pip install jieba

2、编写shanseng.py文件

# encoding=gbk

import jieba

seg_list = jieba.cut("经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走", cut_all=True)

print("Full Mode: " + "/ ".join(seg_list)) # 全模式

seg_list = jieba.cut("经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走", cut_all=False)

print("Default Mode: " + "/ ".join(seg_list)) # 精确模式

seg_list = jieba.cut("经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走")

print(", ".join(seg_list)) # 默认是精确模式，据说可以新词识别

seg_list = jieba.cut_for_search("经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走")

print(", ".join(seg_list)) # 搜索引擎模式

3、在服务器上运行shanseng.py程序

使用XShell命令行进入到jieba目录下，输入：

python shanseng.py

4、运行结果

得到几种不同模式下的划分结果：

全模式

精确模式

默认精确模式

搜索引擎模式

对比发现，全模式下，jieba分词的划分结果最细致。其他三种模式在本例中划分结果相同。

（二）添加自定义词典

新词的出现会影响划分结果的准确性，如“颓秃”、“额首”、“熬骨”、“相诱”等。这些词都是默认词库中没有包含到的词，可以通过添加自定义词典的方式，来增强分词的准确性。

1、在jieba文件夹下新建userdict.txt

文档中编写希望设置添加的新词

颓秃

额首

熬骨

相诱

2、新建shanseng1.py文件

# encoding=utf-8

from __future__ import print_function, unicode_literals

import sys

sys.path.append("../")

import jieba

jieba.load_userdict("userdict.txt")

import jieba.posseg as pseg

test_sent = (

"经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走"

)

words = jieba.cut(test_sent)

print('/'.join(words))

3、执行

python shanseng1.py

4、执行结果

出现错误：

自定义词表必须以utf-8形式保存

解决方法：以utf-8格式另存文件

另存为utf-8编码格式的txt文件

再次运行：

自定义词典结果

从分词的结果可以看出，我们提前设置的新词，如“颓秃”、“额首”等，已经被分在了一起。

5、动态修改词典

修改shanseng1.py：

# encoding=gbk

from __future__ import print_function, unicode_literals

import sys

sys.path.append("../")

import jieba

jieba.load_userdict("userdict.txt")

import jieba.posseg as pseg

jieba.add_word('如何走')

test_sent = (

"经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走

"

)

words = jieba.cut(test_sent)

print('/'.join(words))

执行：

动态添加词典结果

可以看出，在上一步操作的基础上，“如何走”也被分在了一起。

（三）关键词提取

1、基于 TF-IDF 算法的关键词抽取

在jieba文件夹下新建news_extract_tags.py文件：

# -*- coding: utf-8 -*-

import sys

sys.path.append('../')

import jieba

from jieba import analyse # 引入TF-IDF关键词抽取接口

from optparse import OptionParser

text = "经纶笔触颓秃不至丰秀可是笔墨处抽丝做额首又一生熬骨相诱朱门清幽你选如何走"

# 原始文本内容

keywords = analyse.extract_tags(text)

print ("keywords:")

for keyword in keywords:

print (keyword + "/")