在本次分词练习中,使用文本如下:
菊外人指不知道王菊是谁,也没看过创造101,但是已经被给王菊投票相关信息包围的人
一 利用jieba进行分词练习
1.分词
全模式


全模式的分词较为细致,把前后能组词的都进行了组词,例如“不知道”被分成了“不知”和“知道”。
精确模式


精确模式下的分词结果较为准确,但像“菊外人”这种专有名词还是没有被识别出来
搜索引擎模式


2.载入词典
新建ju.txt文件,写入我自己自定义的词典


结果为:

载入词典后的分词结果更为准确
3.基于 TF-IDF 算法的关键词抽取


4.词性标注
标注句子分词后每个词的词性,采用和 ictclas 兼容的标记法。



二 pullword在线分词

出词概率阈值为0:

居然把“菊外人”也能分出来,也是很厉害了
出词概率阈值为1:只分出了5个词

出词概率阈值为0.5:有点像jieba的全模式的分词结果

三 词云
使用工具:图悦

分析文本:好妹妹乐队《谎话情歌》歌词


使用工具:纽扣词云



网友评论