美文网首页R - tips
按词性提取单词

按词性提取单词

作者: 董八七 | 来源:发表于2017-06-21 22:04 被阅读43次

一直关注这样一个问题,一段英文文字中用到了哪些词,尤其是动名形容词?这样可以有目的地提高词汇量从而有助于英文写作。

几乎每届R语言会议上都有关于文本处理的分会场,文本处理在如今的社会中有非常重要的应用。但是对于自己而言并不需要这些繁杂的用处,而且英文的处理相对于中文要简单不少,在R中也有相应的包可以实现这些。一开始借助OpenNLP,但有几个缺点:

  • 2个包要用到rjava,安装时非常之繁琐且容易失败,解决方法

  • 分词很慢。

  • 同一个单词不同词形比如复数、时态不能归一,造成冗余。

后来为了解决词形的问题时遇到一页博客提及对应的英文单词是lemmatization,通过google后找到koRpus利用TreeTagger能够实现。注意Windows下要下载English parameter file并解压到lib文件夹中,以及安装Perl。运行时可能会报错,koRpus的解决方法见这里
分词(或句子)用quanteda::tokenize实现。

提取的结果并不完美,例如会出现数字开头的错误单词,不要苛责。

相关文章

  • 按词性提取单词

    一直关注这样一个问题,一段英文文字中用到了哪些词,尤其是动名形容词?这样可以有目的地提高词汇量从而有助于英文写作。...

  • 英语词性-简述

    词性 单词按词性可分为:名词、动词、形容词、副词、代词、数词、冠词、介词、连词、感叹词。 单词按实际意义分为:实词...

  • DAY 1 打卡

    单词 含义 词性 ...

  • 单词词性(一)

    英语文集:https://www.jianshu.com/nb/49670767[https://www.jian...

  • 单词词性(二)

    英语文集:https://www.jianshu.com/nb/49670767[https://www.jian...

  • 替你读书之词缀的属性与派生词的词性

    主要讲的是英语单词词根词缀的事。 派生词的词性取决于词缀的位置,能改变词基单词词性的是后缀。

  • NLTK之词性(POS)标注

    词性(POS),目前最先进的词性标注算法在预测给定单词的词性上已经有了较高的精确度(约97%),但词性标注领域中仍...

  • 英文单词类型

    所有的英文句子全部是由单词组成,单词有不同的词性,不同词性的单词在句子的组成结构中有固定的位置或者搭配,在看到一个...

  • 复盘升级(六)13周

    1.重要概念 一个单词的不同词性积累(一个挺熟的单词发现还有其它自己不知道的词性,如 fond memories的...

  • 英语语法

    英语词性的分类及用法详述 作者:留学考试VIP中心 来源:北京新东方学校 一、词性的分类 词类又叫词性,英语单词根...

网友评论

    本文标题:按词性提取单词

    本文链接:https://www.haomeiwen.com/subject/wfztcxtx.html