造个轮子|垃圾邮件识别

01 起

大数据时代，我们的“隐私”早已不再是隐私，一个特别直接的证据是什么呢？

我们的邮箱也好、手机也好，经常收到恼人的垃圾邮件、垃圾短信

被这些东西烦的不行，怎么办呢？网上有很多垃圾邮件过滤软件，可以拿来直接用的，其中的原理是什么呢？

今天我们自己造个轮子来过滤邮箱里的垃圾邮件吧！

系好安全带，我要开车了！

02 过滤原理

垃圾邮件过滤的原理其实很简单：朴素贝叶斯(Naive Bayes)

NB的详细原理我们在这一文中讲过：统计学习方法 | 朴素贝叶斯法，大家可以点击学习

简单点，利用朴素贝叶斯原理过滤垃圾邮件，内在逻辑是这样的：

• 朴素贝叶斯公式：P(Y|X)=P(X|Y)*P(Y)/P(X)

• 我们把Y看作邮件分类结果(0不是垃圾邮件、1是垃圾邮件)，X看作邮件中的各个词语

• 于是，P(Y)表示训练集中各类邮件出现的概率(条件概率)(大数定理，即各类邮件出现次数/总邮件数），若训练样本较少，大数定理不适用，本文旨在深刻理解NB原理，因此即使本文中训练样本较少，但仍然使用了大数定理。

• P(X)表示邮件某个词语出现的概率，P(X|Y)表示某类邮件中词语X出现的概率(先验概率)

• P(Y|X)表示邮件包含X词语时，该邮件为Y类的概率(后验概率)，是垃圾邮件过滤的结果，我们会将测试样本X归类到使得P(Y|X)最大的那个Y类

这就是利用NB进行垃圾邮件分类的原理

03 造轮子

知道了过滤原理，我们就来写个算法过滤垃圾邮件吧！

本次邮件过滤使用的样本为我qq邮箱中的74条邮件，人工标注了是否为垃圾邮件，其中有26条垃圾邮件，样本数据长这样

可以看到，样本数据中有较多符号等非文字内容，于是我们需要对样本进行清洗，总得来说，造轮子主要是一下几个步骤：

1. 读取样本数据（自己qq邮箱74条邮件）
2. 数据清洗（去除样本中的符号等非文字内容）
3. 数据处理（训练集测试集分割、文本向量化）
4. 调用sklearn中的NB模型训练，评估，优化模型（本文重点不在此，略去）
5. 自己写个NB模型分辨垃圾邮件

数据清洗

刚才我们已经读取了样本数据，下面我们进行数据清洗，清洗思路如下：

1. 去除待处理文本每条文本中的符号、数字、字母，仅剩中文字符（即以符号、数字、字母为分隔符，隔开每条文本作文item，构成一个list）
2. 去除文本list中长度小于等于1的item
3. 将文本list(text[i])每个item分词（可加载自定义词典），并放入新的对应index的文本list中(text_word[i])
4. 将新的文本list(text_word[i])用空格连接起来并返回

基于此思路，给出以下清洗函数

def text_format():
    import jieba
    import re
    import pandas as pd
    
    print ("待处理文本格式要求:utf-8编码格式，仅包含待处理文本，每行为一条文本")
    text_path=input("请输入待清洗文本路径+名字：")
    
    #加载用户自定义词典用于分词
    userdict_path=input("请输入自定义分词词典路径+名字(可不输入)：")
    if userdict_path !="":
        jieba.load_userdict(userdict_path)
        
    #根据用户输入地址，读取文件
    with open(text_path,"r",encoding="utf-8") as file:
        text=file.readlines()
    for i in range(len(text)):
        text[i]=text[i].strip()
    
    #定义一个空列表，用于存放分词后的文本，长度和text一致
    text_word=[[] for i in range(len(text))]
    
    splitter=re.compile(r"\W+|\d+|[a-z]+") #正则匹配，去除文本中的符号、数字、字母等非中文字符的元素
    for i in range(len(text)):
        text[i]=splitter.split(text[i].lower())
        text[i]=[word for word in text[i] if len(word)>1] #每条文本已经被分为一段一段的句子，每条文本此时是一个list，先去除其中字段长度小于等于1的单词
        for word in text[i]:
            text_word[i].extend(jieba.lcut(word))
        text_word[i]=" ".join(text_word[i]) #为了便于TfidfVectorizer等文本向量化处理，将每条标题用元素用空格连起来
    
    return text_word

清洗前后效果如下
清洗前

清洗后

数据处理

接下来就是数据处理，包括以下步骤：

1. 将每条邮件对应的标签提取出来成为一个list
2. 利用train_test_split将清洗后的数据与其对应的标签切分为训练集、测试集(这个分割函数也可以自己写，本文略去)
3. 构成词袋模型，记录各个词出现的频率
   • CountVectorizer(stop_words=).fit_transform(训练集)
   • CountVectorizer(stop_words=).transform(测试集)

#建立训练集、测试集
label=emails.type.tolist()
X_train,X_test,Y_train,Y_test=train_test_split(emails_format,label,test_size=0.15,random_state=5)
#加载并处理停用词典
with open(r"E:\python\data\stopwords.txt","r",encoding="utf-8") as file:
    stop_words=file.readlines()
for i in range(len(stop_words)):
    stop_words[i]=stop_words[i].strip("\n")
    
#构成词袋模型，记录各个词出现的频率
cv=CountVectorizer(stop_words=stop_words)
X_train_count=cv.fit_transform(X_train)
X_test_count=cv.transform(X_test)

处理后的结果如下，可以看到，训练集62条邮件、测试集12条邮件，共提取出386个文本特征

轮子来了：朴素贝叶斯模型

接下来就是重头戏了，自定义NB模型，思路如下：

1. 利用各词出现的频率和对应标签概率，训练NB模型各概率参数
2. 将测试集各特征在训练集对应的先验概率带入计算，得到测试集各样本后验概率，取后验概率最大的标签类别为该测试样本类别

1. 利用训练集，训练概率参数（拉普拉斯平滑）[类似mnb.fit()]

#先将训练集的内容和标签合为一个dataframe
d={"content":X_train_count.toarray().tolist(),"label":Y_train}
emails_train=pd.DataFrame(data=d)

#将正常邮件(Y=0)和垃圾邮件(Y=1)分为两个子集
normal=emails_train[emails_train.label==0]
normal.reset_index(inplace=True,drop=True) #重置normal索引，作用于原表，丢弃之前的索引
spam=emails_train[emails_train.label==1]
spam.reset_index(inplace=True,drop=True) #重置spam索引，作用于原表，丢弃之前的索引

"""计算Y_train=0、1的条件概率（拉普拉斯平滑）"""
Py0=(len(normal)+1)/(len(emails_train)+2)
Py1=(len(spam)+1)/(len(emails_train)+2)

"""计算X_train各特征向量取各特征值时的先验概率（拉普拉斯平滑）"""
"""计算垃圾邮件中,各特征向量的先验概率"""
vd=len(spam.content[0]) #特征向量的维度
spam_count_dict={} #用于保存content特征向量按列累加的结果
spam_count_prob={} #用于保存垃圾邮件中各特征向量出现的概率

#求content各特征向量按列累加的结果，用于计算各向量在训练集中出现的概率
for i in range(len(spam)):
    for j in range(vd):
        spam_count_dict[j]=spam_count_dict.get(j,0)+spam.content[i][j] #计算垃圾邮件中各特征向量出现的次数，即，求content各特征向量count按列累加的结果

for j in range(vd):
    spam_count_prob[j]=(spam_count_dict.get(j,0)+1)/(len(spam)+2)#计算垃圾邮件中各特征向量出现的概率（拉普拉斯平滑）

"""计算正常邮件中,各特征向量的先验概率"""
normal_count_dict={} #用于保存content特征向量按列累加的结果
normal_count_prob={} #用于保存正常邮件中各特征向量出现的概率

#求content各特征向量按列累加的结果，用于计算各向量在训练集中出现的概率
for i in range(len(normal)):
    for j in range(vd):
        normal_count_dict[j]=normal_count_dict.get(j,0)+normal.content[i][j] #计算垃圾邮件中各特征向量出现的次数，即，求content各特征向量count按列累加的结果

for j in range(vd):
    normal_count_prob[j]=(normal_count_dict.get(j,0)+1)/(len(normal)+2)#计算垃圾邮件中各特征向量出现的概率（拉普拉斯平滑）

2. 将测试集各特征向量值带入训练的概率参数中，计算后验概率，取使后验概率最大的Y=ck为测试样本的分类[类似mnb.predict(), mnb.predict_proba()]

"""计算各测试样本的后验概率"""
test_classify={} #用于保存测试集各样本的后验概率 P(Y|X)=P(Y)*P(X|Y)/P(X)
Px_spam={} #用于保存测试集各样本在垃圾邮件下的先验概率 P(X|Y)
Px_normal={} #用于保存测试集各样本在正常邮件下的先验概率 P(X|Y)

for i in range(X_test_array.shape[0]):
    for j in range(X_test_array.shape[1]):
        if X_test_array[i][j]!=0:
            Px_spam[i]=Px_spam.get(i,1)*spam_count_prob.get(j)#计算垃圾邮件下，各测试样本的后验概率
            Px_normal[i]=Px_normal.get(i,1)*normal_count_prob.get(j)#计算正常邮件下，各测试样本的后验概率

    test_classify[i]=Py0*Px_normal.get(i,0),Py1*Px_spam.get(i,0) #后验概率P(Y|X)=P(Y)*P(X|Y)/P(X)

#比较各样本属于不同分类时(正常/垃圾)的后验概率，去后验概率大的为样本分类结果
results={} #用于存放邮件判定结果
for key,value in test_classify.items():
    if value[0]<=value[1]:
        results[key]=1
    else:
        results[key]=0

测试集12条邮件的分类结果如下，其中第二列为该邮件不是垃圾邮件的概率，第三列为是垃圾邮件的概率： 因此得到分类结果：

3. 计算分类准确率 [类似mnb.score()]

#计算分类准确率
count=0 #计数，统计被正确分类的邮件数量
for key,value in results.items():
    if value==Y_test[key]:
        count+=1
score=count/len(Y_test)
print ("NB模型分类准确率为：{0}%".format(score*100))

输出结果为：

04 总结

本文从朴素贝叶斯原理出发，自己写了一个NB模型，用于滤除个人邮箱中的垃圾邮件，抛砖引玉，希望可以启发大家。

另外，本文设计的NB模型不足之处在于，训练样本太少，分类不够客观准确。解法其实很简单：增加样本量。

当然，本文重点在于理解NB算法原理，下期实操预告：决策树实现。