1、jieba项目地址:https://github.com/fxsjy/jieba
2、jiagu项目地址:https://github.com/ownthink/Jiagu
使用心得:
1、利用jieba进行关键词提取,提取之前可以通过
1、词性标注进行过滤,主要使用参数allowPOS ,
2、加载停用词表进行词汇的过滤
2、关键词提取函数
jieba.analyse.extract_tags()基于tf-idf
jieba.analyse.textrank()基于textrank
函数参数有一下几个:
sentence 为待提取的文本
topK 为返回的关键词数量,默认值为20
withWeight 为是否一并返回关键词权重值,默认值为False
allowPOS 仅包括指定词性的词,默认值为空,即不筛选
3、关键词提取算法详细原理,以及jieba源代码实习该算法的原理,推荐看这篇文章https://blog.csdn.net/suibianshen2012/article/details/68927060
4、利用jiagu进行关键词提取:jiagu使用的是深度学习,需要训练模型,所以好像很慢,就不推荐了。自己可以参考官方文档,跑跑,测试下。
5、jieba采用的词性表,可以找这个链接:https://blog.csdn.net/csdn_yxy/article/details/84974726,具体参数如图所示:
网友评论