jieba 简介
基于前缀词典进行词图扫描，构成全部可能分词结果的有向无环图，动态规划查找最大概率路径
支持三种分词模式
- 精确模式：试图将句子最精确地切开，适合文本分析
- 全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但不能解决歧义
-搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词
支持繁体分词
支持自定义字典
MIT授权协议
MIT 协议可能是几大开源协议中最宽松的一个，核心条款是：
该软件及其相关文档对所有人免费，可以任意处置，包括使用，复制，修改，合并，发表，分发，再授权，或者销售。唯一的限制是，软件中必须包含上述版 权和许可提示。
算法
- 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）
- 采用了动态规划查找最大概率路径，找出基于词频的最大切分组合
- 对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
主要方法
-
jieba.cut
cut方法参数描述：
- string : 需要分词的字符串
- cut_all: 是否采用全模式，默认为精确模式
- HMM：是否使用HMM模型
-
jieba.cut_for_search
该方法适用于搜索引擎构建倒排索引分词，粒度较细。
- string : 需要分词的字符串
- HMM: 是否使用HMM模型
- jieba.lcut以及jieba.lcut_for_search 直接返回list
-
jieba.Tokenizer(dictionary=DEFAULT_DICT)
新建自定义分词器，可用于同时使用不同词典。jieba.dt为默认分词器，所以全局分词相关函数都是该分词器的映射。
-
jieba.load_userdict(file_name)
指定自定义词典，以便包含jieba词库里没有的词。自行添加新词可以保证更高的正确率。
- 词典格式：[词语，词频(可省略)，词性(可省略)]，
用空格隔开，顺序不可颠倒，文件编码必须为UTF-8 - 词频自动省略时使用自动计算的能保证分出该词的词频
- 词典格式：[词语，词频(可省略)，词性(可省略)]，
-
jieba.analyse.set_stop_words(file_name)
指定停用词文件
关键词提取
基于TF-IDF算法的关键词抽取
-
jieba.analyse.extrac_tags(sentence.topK=20,withWeight=False,allowPOS=())
参数详解
- sentence:提取文本
- topK: 返回TF/IDF权重最大的关键词个数，默认值为20
- withWeight: 是否一并返回关键词权重值，默认值为False
- allowPOS: 仅包括指定词性的词,默认为空，既不筛选。
基于TextRank算法的关键词提取
-
jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v'))
直接使用，接口相同，注意默认过滤词性。
基本思想:- 将待抽取关键词的文本进行分词
- 以固定窗口大小(默认为5，通过span属性调整)，词之间的共现关系，构建图
- 计算图中节点的PageRank，注意是无向带权图
词性标注
jieba.posseg.POSTokenizer(tokenizer=None)
新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。
- jieba.posseg.dt 为默认词性标注分词器。
- 标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
参考内容 ：jieba分词文档
网友评论