自然语言分析——利用NLTK进行文本预处理

本文作者：方 言
文字编辑：戴 雯
技术总编：张馨月

现如今的网络信息丰富多样，越来越多非结构化的信息内容得到广泛传播，所谓非结构化的信息就是一些新闻报道、社交媒体文章等，一般涉及到这类信息分析时都会用到NLP，也就是自然语言处理，在NLP中有很多工具可以用来分析非结构化的信息内容，今天我们就来简单的介绍一下在NLP中比较常用的自然语言处理工具——NLTK。NLTK的全称是natural language toolkit，是基于python用来处理自然语言的工具集，主要用来处理英文的相关数据。今天我们就来介绍一下NLTK库的安装和一些简单的文本分析操作。

一、安装

NLTK的安装可以直接通过pip完成：

pip install nltk

NLTK中包含非常多的语料和模型，我们可以通过NLTK Downloader进行下载：

import nltk
nltk.download()

运行上方的代码可以获取NLTK Downloader窗口

image.png

点击Download，如果出现报错，可以通过点击File里的Change Server Index将service index改为http://nltk.org/nltk_data/，再点击Download。

如果这种方法依然报错，我们可以先输入下面这行代码查看nltk_data文件可以存放的路径：

nltk.data.find(".")

image

接下来，到官网https://github.com/nltk/nltk_data/tree/gh-pages下载packages文件到相应的路径，并对nltk_data进行解压（文件里很多个压缩包，注意要全部解压完成），我们可以测试一下是否安装成功：

from nltk.book import *

如果运行结果如下所示，则表明安装成功：

image

但是，在测试运行中还可能出现错误，比如这里利用NLTK进行分词，运行代码后出现如下报错：

import nltk
from nltk import word_tokenize
text = "NLTK is a great text analysis tool. We can make use of it."
sentence = nltk.sent_tokenize(text)
print(sentence)

image

这时是因为NLTK路径下的tokenizers\punkt里多了个PY3文件夹，将这个文件夹的内容放置到punkt文件夹中，删除PY3文件夹即可。
完成了NLTK的安装以后，我们来进行一下简单的操作。

二、常用功能（以句子为例）

1.分词

在分词时，由于NLTK是先分句再分词的，我们需要先通过nltk.sent_tokenize(text)将文本按照句子进行划分，然后通过nltk.word_tokenize(sent)实现对每个句子进行分词。下面我们来举个例子：

import nltk
text = "NLTK is a great text analysis tool. We can make use of it."
sentence = nltk.sent_tokenize(text)
print(sentence)

运行结果如下所示，这里将text分成了两句话，结果以单引号进行分隔

image

在写这个程序的时候一定要注意的是，每个英文句号的后面一定要加一个空格，否则在进行分句的时候是无法将句子进行分离的。

然后再对分离的每句话进行分词：

words = []
for sent in sentence :
    words.append(nltk.word_tokenize(sent))
print(words)

结果如下所示，NLTK将每句话的每个单词都进行了拆分，拆分后的每个单词都用单引号标识，但是这里有一个问题，标点符号也被作为一个单词单独进行拆分了，那么怎么解决这个问题呢？往下看就知道啦~

image

2.去除停用词和标点符号

所谓停用词，就是在理解一个句子的时候没什么必要去理解的单词，它们的意思对理解整个句子的语义没有太大影响。尤其是在英文中，"a"，"the",“to"，“their”等冠词，借词，代词等，这些词语对文本分析起不到任何的帮助，因此我们在做文本分析的时候希望将这些单词去掉。想要去除停用词，就要知道NLTK库中有哪些停用词，我们可以直接用NLTK中提供的英文停用词表。

from nltk.corpus import stopwords
stop = set(stopwords.words('english'))
print(stop)

如下展示的就是NLTK词库中的停用词，由于NLTK库只支持英文的停用词库，因此在进行中文分词的时候还需要构造中文的停用词词库，这个会在以后的推文中进行介绍~

image

在了解了NLTK的停用词库后，我们把句子中的停用词去掉，结果运行如图所示：

filter_text = [word for word in sentence.split(' ') if word not in stopwords.words('english') ]
print(filter_text)

image

对于标点符号的去除，其实大可不必利用NLTK去除，在Python中的re.sub()函数就可以实现标点符号的全部去除，程序如下，这里我们需要用到正则表达式的相关内容：

import re
filter_text = re.sub(r'[^a-zA-Z0-9\s]','',string= text1)
print(filter_text)

运行结果如图所示，可以看到所有的标点符号都被删除了：

image

在进行分词的时候，我们是希望将标点符号以及停用词都去除的，因此直接替换掉所有的标点符号并进行停用词去除的程序如下所示，在进行文本整理以后，去除不必要的符号可以让我们在文本分析时更能突出重点。

import re
stop = set(stopwords.words('english'))
filter_text = re.sub(r'[^a-zA-Z0-9\s]','',string= text)
filter_text = [word for word in filter_text.split(' ') if word not in stop]
print(filter_text)

结果如图，可以看到结果只针对有用的单词进行了分词：

image

3.词频统计

词频统计有利于我们在做文本分析时了解文本的重点和核心，我们可以使用NLTK中的FreqDist()函数帮助我们对去除停用词后的文本进行词频统计。

from nltk import FreqDist
fdist = FreqDist(filter_text)
print(fdist)
for a,b in fdist.items():
    print(str(a)+":"+str(b))

[图片上传失败...(image-7214e9-1599102492408)]
上图的运行结果显示出当前文本中有8个样本和8个结果，因为每个样本都只出现了一次，因此8个样本出现的频数也就是8。

4.词性标注

在分词过程中，对词性进行分析有助于我们更好的把握文本的核心和重点。这一功能可以通过NLTK中的pos_tag()函数实现，下面我们来操作一下：

from nltk import pos_tag
text = "NLTK is a great text analysis tool.We can make use of it."
tokens = nltk.word_tokenize(text)
tags = pos_tag(tokens)

image

在上面的结果中我们看到输出的结果是一些大写字母的组合，这些组合就是NLTK库中的相关词性，这里列举一下，如下图所示：

image

三、简单应用（以NLTK自带的古腾堡语料库为例）

通过第二部分我们掌握了比较简单的句子的分析，那么我们利用第二部分介绍的内容来简单以NLTK自带的古腾堡语料库应用一下。

首先，我们需要调用NLTK的古腾堡语料库，并在该语料库中获取一个文本对象。在进入应用之前，先简单介绍一下古腾堡语料库。古腾堡项目大约有36000本免费电子图书，NLTK中只包含了其中的一小部分，NLTK的古腾堡语料库收集的都是不同作家的书，并且都是英文的，通过下述命令可以查看NLTK中包含的相关文本文档：

from nltk.corpus import gutenberg
gutenberg.fileids()

运行结果如图，这里展示的就是NLTK古腾堡语料库包含的所有文档：

image

这里以莎士比亚的著作《哈姆雷特》为例进行简单的文本分析，首先，我们需要先获取《哈姆雷特》的文本内容，键入以下命令即可获取语料库中的文本内容：

hamlet = gutenberg.words('shakespeare-hamlet.txt')  # 获取shakespeare-hamlet.txt这个文件的单词
print(hamlet)
hamlets = gutenberg.sents('shakespeare-hamlet.txt')  # 获取shakespeare-hamlet.txt这个文件的句子
print(hamlets)

运行结果如图所示：

image

通过运行的结果可以看到，直接引用语料库的文本内容，不同于自己构建的文本内容，原因是NLTK的古腾堡语料库已经将这些作品分好词、分好句，因此我们直接对语料库中的内容进行后续文本处理，去停用词、去标点、词频统计以及词性标注：

（1）去停用词

#去除停用词
from nltk.corpus import stopwords
filter_text = [word for word in hamlet if word not in stopwords.words('english') ]
print(filter_text)

运行结果如图所示：

image

由于《哈姆雷特》的内容较长，所以在前面没办法完全展开显示，但是从图中可以明显看到，《哈姆雷特》的第一句话中of这个单词被去除掉了，这也说明我们这个去除停用词是成功实现了的。

（2）去标点

在去除停用词的基础上，对标点进行去除，可以键入以下命令：

import re
filter_texts = re.sub(r'[^a-zA-Z0-9\s]','',str(filter_text))
print(filter_texts)   

运行结果如图所示：

image

这就是一个干干净净的文本内容，即没有停用词，也没有标点符号的文本，是不是看上去特别清爽！

（3）进行词频统计

由于词频统计必须要在分词的基础上进行，所以我们需要对去除标点符号以后的清爽的文本内容再进行分词，可以键入以下命令：

text=nltk.word_tokenize(filter_texts)
print(text)   

运行结果如图所示：

image

在分词之后，我们就可以进行词频统计啦，键入以下命令：

from nltk import FreqDist
fdist = FreqDist(text)
print(fdist)
for a,b in fdist.items():
    print(str(a)+":"+str(b))

运行结果如图所示：

image

可以看到结果中显示了《哈姆雷特》中共有18814个单词，剔除重复的单词后，共用到了5324个单词。

（4）词性标注

同词频统计一样，词性标注也是必须在分句和分词的基础上才能进行的，因此我们也是可以直接对分词后的文本进行词性标注：

from nltk import pos_tag
print(nltk.pos_tag(text))

结果如图：

image

以上就是我们今天给大家简单介绍的自然语言处理工具NLTK以及进行简单的文本预处理，NLTK还有很多语料库可以供大家使用,详情可以继续关注我们后续的推文内容哦~