美文网首页
中文分词利器jieba、jiagu使用心得

中文分词利器jieba、jiagu使用心得

作者: 你在干嘛HJ | 来源:发表于2019-02-24 21:54 被阅读0次

    1、jieba项目地址:https://github.com/fxsjy/jieba

    2、jiagu项目地址:https://github.com/ownthink/Jiagu

    使用心得:

    1、利用jieba进行关键词提取,提取之前可以通过

            1、词性标注进行过滤,主要使用参数allowPOS ,

            2、加载停用词表进行词汇的过滤

    2、关键词提取函数

    jieba.analyse.extract_tags()基于tf-idf

    jieba.analyse.textrank()基于textrank

    函数参数有一下几个:

    sentence 为待提取的文本

    topK 为返回的关键词数量,默认值为20

    withWeight 为是否一并返回关键词权重值,默认值为False

    allowPOS 仅包括指定词性的词,默认值为空,即不筛选

    3、关键词提取算法详细原理,以及jieba源代码实习该算法的原理,推荐看这篇文章https://blog.csdn.net/suibianshen2012/article/details/68927060

    4、利用jiagu进行关键词提取:jiagu使用的是深度学习,需要训练模型,所以好像很慢,就不推荐了。自己可以参考官方文档,跑跑,测试下。

    5、jieba采用的词性表,可以找这个链接:https://blog.csdn.net/csdn_yxy/article/details/84974726,具体参数如图所示:

    相关文章

      网友评论

          本文标题:中文分词利器jieba、jiagu使用心得

          本文链接:https://www.haomeiwen.com/subject/gaaxfqtx.html