Python 实现小型文本分类系统

最近在做微信公众号采集开发，将要对公众号文章数据（mysql里），进行文本分类，查了很多资料，找到一篇适合新手的一篇博文：https://blog.csdn.net/github_36326955/article/details/54891204，本人提供了人工分好类的文章训练集语料库（1000多篇）和测试集语料库（11篇），和大家一起学习。

一、中文文本分类流程

1、预处理
2、中文分词
3、结构化表示--构建词向量空间
4、权重策略--TF-IDF
5、分类器选择
6、评价

二，具体细节

1，预处理

# 公众号文章类别
d_category = {'1': '人工智能', '2': '人文社科', '3': '信息系统', '4': '先进防御', '5': '兵器', '6': '农业', '7': '前沿交叉', '8': '反恐安全',
          '9': '基础科学', '10': '教育', '11': '核生化', '12': '模拟仿真', '13': '海战装备', '14': '生物医学', '15': '电子元器件',
          '16': '空战装备', '17': '管理与政策', '18': '经济', '19': '综合保障', '20': '网络空间', '21': '能原材料', '22': '航天',
          '23': '试验鉴定', '24': '防务策略', '25': '其他', '26': '太空探索', '27': '招标采购', '28': '区块链', '29': '地理科学'
          }

1.1，得到训练集语料库

即已经分好类的文本资料（例如：语料库里是一系列已经分词的txt文章，这些文章按照实际内容归入到不同分类的目录中，为了方便演示，如上所有分类都用数字代表，如 .\1\21.txt），下载链接:https://pan.baidu.com/s/1NgkcztR0d-QPRn9toM1wCA 提取码: dw8h ，将下载的语料库解压后，请自己修改文件名和路径，例如路径可以设为 ./train_corpus/，其下则是各个类别目录如：./train_corpus/1，……，\train_corpus\2

1.2，得到测试语料库

也是已经分好类的文本资料，与1.1类型相同，只是里面的文档不同，用于检测算法的实际效果。下载链接: https://pan.baidu.com/s/18P8hkOEvughxJ9B8M3fbHg 提取码: wqjj ，测试预料可以从1.1中的训练预料中随机抽取，也可以下载独立的测试语料库路径修改参考1.1，上面提供的是独立的测试语料，例如可以设置为 ./test_corpus/

2，中文分词

本文使用的分词工具是jieba，最近新出来的一个分词工具pkuseg。两者区别参考：流程是从mysql读取数据——结巴分词——按分类文件夹存入txt。截止目前，我们已经得到了分词后的训练集语料库和测试集语料库，下面我们要把这两个数据集表示为变量，从而为下面程序调用提供服务。我们采用的是Scikit-Learn库中的Bunch数据结构来表示这两个数据集。

首先来看看Bunch:

Bunch这玩意儿，其实就相当于python中的字典。你往里面传什么，它就存什么。

好了，解释完了。

是不是很简单？

接下来，让我们看看的我们的数据集（训练集）有哪些信息：

image.png

那么，用Bunch表示，就是：

from sklearn.datasets.base import Bunch
bunch = Bunch(target_name=[],label=[],filenames=[],contents=[]) 

我们在Bunch对象里面创建了有4个成员：
target_name：是一个list，存放的是整个数据集的类别集合。
label：是一个list，存放的是所有文本的标签。
filenames：是一个list，存放的是所有文本文件的名字。
contents：是一个list，分词后文本文件（一个文本文件只有一行）

下面，我们将文本文件转为Bunch类形：

# -*- coding: UTF-8 -*-
import os
import pickle
from sklearn.datasets.base import Bunch


def _readfile(path):
        '''读取文件'''
        # 函数名前面带一个_,是标识私有函数
        # 仅仅用于标明而已，不起什么作用，
        # 外面想调用还是可以调用，
        # 只是增强了程序的可读性
        with open(path, "rb") as fp:  # with as句法前面的代码已经多次介绍过，今后不再注释
            content = fp.read()
        return content


    def corpus2Bunch(wordbag_path, seg_path):
        catelist = os.listdir(seg_path)  # 获取seg_path下的所有子目录，也就是分类信息
        # 创建一个Bunch实例
        bunch = Bunch(target_name=[], label=[], filenames=[], contents=[])
        bunch.target_name.extend(catelist)
        # 获取每个目录下所有的文件
        for mydir in catelist:
            class_path = seg_path + mydir + "/"  # 拼出分类子目录的路径
    file_list = os.listdir(class_path)  # 获取class_path下的所有文件
    for file_path in file_list:  # 遍历类别目录下文件
        fullname = class_path + file_path  # 拼出文件名全路径
        bunch.label.append(mydir)
        bunch.filenames.append(fullname)
        bunch.contents.append(_readfile(fullname))  # 读取文件内容
        '''append(element)是python list中的函数，意思是向原来的list中添加element，注意与extend()函数的区别'''
        # 将bunch存储到wordbag_path路径中
        with open(wordbag_path, "wb") as file_obj:
              pickle.dump(bunch, file_obj)


   if __name__ == "__main__":  # 这个语句前面的代码已经介绍过，今后不再注释
        # 对训练集进行Bunch化操作：
        wordbag_path = "train_word_bag/train_set.dat"  # Bunch存储路径
        seg_path = "train_corpus/"  # 分词后分类语料库路径
        corpus2Bunch(wordbag_path, seg_path)

        # 对测试集进行Bunch化操作：
        wordbag_path = "test_word_bag/test_set.dat"  # Bunch存储路径
        seg_path = "test_corpus/"  # 分词后分类语料库路径
        corpus2Bunch(wordbag_path, seg_path)

3，结构化表示--向量空间模型

在第2节中，我们对原始数据集进行了分词处理，并且通过绑定为Bunch数据类型，实现了数据集的变量表示。

4，权重策略--TF-IDF

我们把训练集文本转换成了一个TF-IDF词向量空间，姑且叫它为A空间吧。那么我们还有测试集数据，我们以后实际运用时，还会有新的数据，这些数据显然也要转到词向量空间，那么应该和A空间为同一个空间吗？

是的。

即使测试集出现了新的词汇（不是停用词），即使新的文本数据有新的词汇，只要它不是训练集生成的TF-IDF词向量空间中的词，我们就都不予考虑。这就实现了所有文本词向量空间“大一统”，也只有这样，大家才在同一个世界里。才能进行下一步的研究。

下面的程序就是要将训练集所有文本文件（词向量）统一到同一个TF-IDF词向量空间中（或者叫做用TF-IDF算法计算权重的有权词向量空间）。这个词向量空间最终存放在train_word_bag/tfdifspace.dat中。

把训练集数据成功的构建了一个TF-IDF词向量空间，空间的各个词都是出自这个训练集（去掉了停用词）中，各个词的权值也都一并保存了下来，叫做权重矩阵。

需要注意的是，权重矩阵是一个二维矩阵，a[i][j]表示，第j个词在第i个类别中的IF-IDF值

# 引入Bunch类
from sklearn.datasets.base import Bunch
import pickle
from sklearn.feature_extraction.text import TfidfVectorizer


def _readfile(path):
    with open(path, "rb") as fp:
           content = fp.read()
    return content


def _readbunchobj(path):
     with open(path, "rb") as file_obj:
            bunch = pickle.load(file_obj)
     return bunch


def _writebunchobj(path, bunchobj):
      with open(path, "wb") as file_obj:
            pickle.dump(bunchobj, file_obj)


def vector_space(stopword_path, bunch_path, space_path, train_tfidf_path=None):
        stpwrdlst = _readfile(stopword_path).splitlines()
        bunch = _readbunchobj(bunch_path)
        tfidfspace = Bunch(target_name=bunch.target_name, label=bunch.label,                     filenames=bunch.filenames, tdm=[],
                   vocabulary={})

if train_tfidf_path is not None:
    trainbunch = _readbunchobj(train_tfidf_path)
    tfidfspace.vocabulary = trainbunch.vocabulary
    vectorizer = TfidfVectorizer(stop_words=stpwrdlst, sublinear_tf=True, max_df=0.5,
                                 vocabulary=trainbunch.vocabulary)
    tfidfspace.tdm = vectorizer.fit_transform(bunch.contents)

else:
    vectorizer = TfidfVectorizer(stop_words=stpwrdlst, sublinear_tf=True, max_df=0.5)
    tfidfspace.tdm = vectorizer.fit_transform(bunch.contents)
    tfidfspace.vocabulary = vectorizer.vocabulary_

_writebunchobj(space_path, tfidfspace)
print("if-idf词向量空间实例创建成功！！！")


if __name__ == '__main__':
        stopword_path = "train_word_bag/hlt_stop_words.txt"
        bunch_path = "train_word_bag/train_set.dat"
        space_path = "train_word_bag/tfdifspace.dat"
        vector_space(stopword_path, bunch_path, space_path)

        bunch_path = "test_word_bag/test_set.dat"
        space_path = "test_word_bag/testspace.dat"
        train_tfidf_path = "train_word_bag/tfdifspace.dat"
        vector_space(stopword_path, bunch_path, space_path, train_tfidf_path)

上面的代码运行之后，会将训练集数据转换为TF-IDF词向量空间中的实例，保存在train_word_bag/tfdifspace.dat中，具体来说，这个文件里面有两个我们感兴趣的东西，一个是vocabulary，即词向量空间坐标，一个是tdm，即训练集的TF-IDF权重矩阵。

接下来，我们要开始第5步的操作，设计分类器，用训练集训练，用测试集测试。在做这些工作之前，你一定要记住，首先要把测试数据也映射到上面这个TF-IDF词向量空间中，也就是说，测试集和训练集处在同一个词向量空间（vocabulary相同），只不过测试集有自己的tdm，与训练集（train_word_bag/tfdifspace.dat）中的tdm不同而已。

5，分类器

这里我们采用的是朴素贝叶斯分类器，今后我们会详细讲解它。

现在，你即便不知道这是个啥玩意儿，也一点不会影响你，这个分类器我们有封装好了的函数，MultinomialNB，这玩意儿获取训练集的权重矩阵和标签，进行训练，然后获取测试集的权重矩阵，进行预测（给出预测标签）。

下面我们开始动手实践吧！

首先，我们要把测试数据也映射到第4节中的那个TF-IDF词向量空间上：

import pickle
from sklearn.naive_bayes import MultinomialNB  # 导入多项式贝叶斯算法


# 读取bunch对象
def _readbunchobj(path):
      with open(path, "rb") as file_obj:
        bunch = pickle.load(file_obj)
        return bunch


# 导入训练集
trainpath = "train_word_bag/tfdifspace.dat"
train_set = _readbunchobj(trainpath)

# 导入测试集
testpath = "test_word_bag/testspace.dat"
test_set = _readbunchobj(testpath)

# 训练分类器：输入词袋向量和分类标签，alpha:0.001 alpha越小，迭代次数越多，精度越高
clf = MultinomialNB(alpha=0.001).fit(train_set.tdm, train_set.label)

# 预测分类结果
predicted = clf.predict(test_set.tdm)

for file_name, expct_cate in zip(test_set.filenames, predicted):
    # if flabel != expct_cate:
    print(file_name, " -->预测类别:", expct_cate)
 print("预测完毕!!!")

结果：

image.png

6，评价与小结

评价部分的实际操作我们已经在上一节的代码中给出了。这里主要是要解释一下代码的含义，以及相关的一些概念。

截止目前，我们已经完成了全部的实践工作。接下来，你或许希望做的是：

1，分词工具和分词算法的研究

2，文本分类算法的研究