美文网首页
分词练习

分词练习

作者: 弹弹弹弹走于思琦 | 来源:发表于2018-05-28 00:52 被阅读0次

在本次分词练习中,使用文本如下:

菊外人指不知道王菊是谁,也没看过创造101,但是已经被给王菊投票相关信息包围的人

一 利用jieba进行分词练习

参考教程:jieba官方文档

1.分词

全模式

结果

全模式的分词较为细致,把前后能组词的都进行了组词,例如“不知道”被分成了“不知”和“知道”。

精确模式

精确模式下的分词结果较为准确,但像“菊外人”这种专有名词还是没有被识别出来

搜索引擎模式

2.载入词典

新建ju.txt文件,写入我自己自定义的词典

结果为:

载入词典后的分词结果更为准确

3.基于 TF-IDF 算法的关键词抽取

4.词性标注

标注句子分词后每个词的词性,采用和 ictclas 兼容的标记法。

二 pullword在线分词

出词概率阈值为0:

居然把“菊外人”也能分出来,也是很厉害了

出词概率阈值为1:只分出了5个词

出词概率阈值为0.5:有点像jieba的全模式的分词结果

三 词云

使用工具:图悦

分析文本:好妹妹乐队《谎话情歌》歌词

热词权重图 热词词频图

使用工具:纽扣词云

相关文章

  • 分词练习1——分词工具包

    关于分词工具包的体验:分词练习2——分词体验 现有的分词工具包 (1)NLPIR NLPIR汉语分词系统,又名IC...

  • 分词练习

    使用ICTCLAS(NLPIR)在线分词工具和jieba分词组件进行分词练习。 一. ICTCLAS 1.简介 汉...

  • 分词练习2——分词体验

    接分词练习1——分词工具包 分词效果尝试 接下来我将体验NLPIR和jieba分词的效果,其中,NLPIR使用在线...

  • 分词练习

    一、实验目标 尝试使用jieba对《龙族》进行分词,并进行分词效果比较分析 二、使用工具 在线分词工具、jieba...

  • 分词练习

    1.常用的分词工具包 perminusminusStanford 汉语分词工具哈工大语言云ICTCLAS——Ans...

  • 分词练习

    在本次分词练习中,使用文本如下: 菊外人指不知道王菊是谁,也没看过创造101,但是已经被给王菊投票相关信息包围的人...

  • 分词练习

    一、使用jieba进行分词1. 中文分词(Chinese Word Segmentation)指将一个汉字序列切分...

  • 分词练习

    一、jieba分词1.在cmd中安装结巴分词 python setup.py install 并在python环境...

  • 分词练习

    1、现有的分词工具中科院计算所NLPIRansj分词器哈工大的LTP清华大学THULAC斯坦福分词器Hanlp分词...

  • jieba分词练习

    实验内容: 使用Python分词模块:Jieba,对四川大学公共管理学院2015-2018年308条新闻内容进行分...

网友评论

      本文标题:分词练习

      本文链接:https://www.haomeiwen.com/subject/sfsijftx.html