sklearn 基本的文本分类

目的

其实，说白了就是人想知道这个文档是做什么的。首先给每篇文章一个标签、构建文档的特征，然后通过机器学习算法来学习特征和标签之间的映射关系，最后对未知的文本进行标签的预测。
在海量信息的互联网时代，文本分类尤其重要。sklearn作为即可学术研究，也可构建产品原型，甚至发布商用产品的机器学习包，里面封装了一些常用的文本操作的算法。这里慢慢的记录一下。

训练数据

以后有机会我爬取一些中文的文本，但现在我们先使用sklearn提供的新闻媒体的数据。
代码如下。

categories = ['alt.atheism', 'soc.religion.christian',
              'comp.graphics', 'sci.med']

from sklearn.datasets import fetch_20newsgroups
twenty_train = fetch_20newsgroups(subset='train',
    categories=categories, shuffle=True, random_state=42)
twenty_test = fetch_20newsgroups(subset='test',
    categories=categories, shuffle=True, random_state=42)

这里只取5个类别的新闻媒体（为了计算速度）。
twenty_train, twenty_test封装了文本和target（label，使用0、1、2、3表示）

构建特征BOW

Bag of Words是文本分类入门级的特征，很容易理解，后文会有简略的介绍。代码如下。

from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer()
X_train_counts = count_vect.fit_transform(twenty_train.data)
X_train_counts.shape

改代码的输出为：
(2257, 35788)
也就是说，共有2257篇训练文章，词典的大小为35788维。
CountVectorizer类的参数也很好理解，比较重要的几个
stop_words=,指定的停用词；
max_df=，超过这个频率的词不作为词典词，默认1.0；
min_df=，小于这个频率的词不作为次电磁，默认1（至少出现在一篇文章中）；
max_features=，词典最多有多少个词，默认None，如果指定了，则通过词频来排序取舍。
vocabulary=，指定的词典。

构建TF-IDF特征

代码如下

from sklearn.feature_extraction.text import TfidfTransformer
tf_transformer = TfidfTransformer().fit(X_train_counts)
X_train_tf = tf_transformer.transform(X_train_counts)
X_train_tf.shape

简单的说，TF-IDF特征将每个词在当前文档中的重要程度给计算出来了，而且归一化。后面会有简略的介绍。

构建朴素贝叶斯分类器

from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB().fit(X_train_tf, twenty_train.target)

在测试集上的结果

predicted = clf.predict(tf_transformer.transform(count_vect.transform(twenty_test.data)))

from sklearn import metrics
print(metrics.classification_report(twenty_test.target, predicted,
    target_names=twenty_test.target_names))

结果如下所示。

                        precision    recall  f1-score   support

           alt.atheism       0.97      0.60      0.74       319
         comp.graphics       0.96      0.89      0.92       389
               sci.med       0.97      0.81      0.88       396
soc.religion.christian       0.65      0.99      0.78       398

           avg / total       0.88      0.83      0.84      1502

总结

基本的文本分类的流程基本就是这样，后续就是使用更加合适的分词、词典、特征的构建方法，使用更加合适的分类器等。具体问题具体分析。

Bag of Word

Bag of words模型最初被用在文本分类中，将文档表示成特征矢量。它的基本思想是假定对于一个文本，忽略其词序和语法、句法，仅仅将其看做是一些词汇的集合，而文本中的每个词汇都是独立的。简单说就是讲每篇文档都看成一个袋子（因为里面装的都是词汇，所以称为词袋，Bag of words即因此而来），然后看这个袋子里装的都是些什么词汇，将其分类。如果文档中猪、马、牛、羊、山谷、土地、拖拉机这样的词汇多些，而银行、大厦、汽车、公园这样的词汇少些，我们就倾向于判断它是一篇描绘乡村的文档，而不是描述城镇的。举个例子，有如下两个文档：

文档一：Bob likes to play basketball, Jim likes too.

文档二：Bob also likes to play football games.

基于这两个文本文档，构造一个词典：

Dictionary = {1:”Bob”, 2. “like”, 3. “to”, 4. “play”, 5. “basketball”, 6. “also”, 7. “football”，8. “games”, 9. “Jim”, 10. “too”}。

这个词典一共包含10个不同的单词，利用词典的索引号，上面两个文档每一个都可以用一个10维向量表示（用整数数字0~n（n为正整数）表示某个单词在文档中出现的次数）：

1：[1, 2, 1, 1, 1, 0, 0, 0, 1, 1]

2：[1, 1, 1, 1 ,0, 1, 1, 1, 0, 0]

向量中每个元素表示词典中相关元素在文档中出现的次数(下文中，将用单词的直方图表示)。不过，在构造文档向量的过程中可以看到，我们并没有表达单词在原来句子中出现的次序（这是本Bag-of-words模型的缺点之一，不过瑕不掩瑜甚至在此处无关紧要）。

if-idf词频倒排索引

TFIDF的主要思想是：如果某个词或短语在一篇文章中出现的频率TF高，并且在其他文章中很少出现，则认为此词或者短语具有很好的类别区分能力，适合用来分类。
在一份给定的文件里，词频（term frequency，TF）指的是某一个给定的词语在该文件中出现的频率。这个数字是对词数(term count)的归一化，以防止它偏向长的文件。（同一个词语在长文件里可能会比短文件有更高的词数，而不管该词语重要与否。）对于在某一特定文件里的词语 ti 来说，它的重要性可表示为：

Paste_Image.png

其中，分子表示单词i在文档j中出现的次数，分母表示文档j的所有单词个数。
逆向文件频率（inverse document frequency，IDF）是一个词语普遍重要性的度量。某一特定词语的IDF，可以由总文件数目除以包含该词语之文件的数目，再将得到的商取对数得到：

Paste_Image.png

其中，分子位语料库文档总的个数；
分母为用于单词i的文档的个数。

最终，

Paste_Image.png