Python 朴素贝叶斯法

作者: JasonJe | 来源:发表于2017-05-14 12:49 被阅读721次

    朴素贝叶斯法是一种直观地方法,它使用每个属性归属于某个类的概率来进行预测。即在给定的已分类的数据集下,假设每个划分属性归属于某一类的概率是独立于其余属性,从而简化了概率的计算。通过计算这种强的独立性假设,来进行分类,这种分类是牺牲一定准确性的,但又是简单的。

    1. 朴素贝叶斯法(naive Bayes

    1.1 基本方法

    假设存在训练数据集![](http://latex.codecogs.com/svg.latex? \Large $T = {(x_1,y_1),(x_2,y_2),...,(x_N,y_N)} $) 其先验概率分布为
    ![](http://latex.codecogs.com/svg.latex? \Large $$P(Y = c_k) = \frac{c_k}{N} $$)
    其条件概率分布为![](http://latex.codecogs.com/svg.latex? \Large $$ P(X = x|Y = c_k) ,x = x{(1)},x{(2)},...,x^{(N)} , k=1,2,...,K $$)

    于是求的其联合概率分布为![](http://latex.codecogs.com/svg.latex? \Large $P(X,Y) = P(Y = c_k)P(X = x|Y = c_k)$)
    在贝叶斯定义中,贝叶斯定理为

    上式中分子部分的条件概率* P(X = x|Y = ck)*的计算是极其复杂的,其复杂度是相对于变量个数成指数增长的,当存在很多特征的时候,计算的过程极其痛苦,如果再考虑分母展开的链规则的话,整个过程就会呈现一个组合爆炸的情况!

    为此,朴素贝叶斯法就针对条件概率分布作出了条件独立性的假设,本文介绍的朴素贝叶斯也因此得名。

    具体地,其条件概率计算公式如下:

    相较于贝叶斯定义中的条件概率,此时参数减少了,也很好地避免了计算上的组合爆炸问题,对于属性数越多的问题,其运用就越简单,也越迅速。

    由此可以习得的后验概率为:

    ![](http://latex.codecogs.com/svg.latex? \Large $$P(Y = c_k|X = x) = \frac{P(X = x|Y = c_k)P(Y=c_k)}{\sum_k{P(X = x|Y = c_k)P(Y=c_k)}} ​$$)

    1.2 朴素贝叶斯分类器

    基于此后验概率,即得到朴素贝叶斯分类器如下:

    ![](http://latex.codecogs.com/svg.latex? \Large $$ y= \arg\max_{c_k} P(X = x|Y = c_k)P(Y=c_k)$$)

    1.3 离散变量和连续变量

    对离散变量而言,条件概率公式为:

    对连续变量而言,条件概率公式为:

    其中σ是在ck类下的标准差,μ为均值。

    1.4 拉普拉斯修正

    中,会存在某个
    的情况,此时连乘会出现条件概率为0的情况,对此采用“拉普拉斯修正(Laplacian correction)”进行“平滑(smoothing)”。 在条件概率的式子下,将

    为类别数。

    2. 算法实现

    以下列数据集为例,进行朴素贝叶斯算法的设计。

    编号 色泽 根蒂 敲声 纹理 脐部 触感 密度 含糖率 好瓜
    1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 0.697 0.460
    2 乌黑 蜷缩 沉闷 清晰 凹陷 硬滑 0.774 0.376
    3 乌黑 蜷缩 浊响 清晰 凹陷 硬滑 0.634 0.264
    4 青绿 蜷缩 沉闷 清晰 凹陷 硬滑 0.608 0.318
    5 浅白 蜷缩 浊响 清晰 凹陷 硬滑 0.556 0.215
    6 青绿 稍蜷 浊响 清晰 稍凹 软粘 0.403 0.237
    7 乌黑 稍蜷 浊响 稍糊 稍凹 软粘 0.481 0.149
    8 乌黑 稍蜷 浊响 清晰 稍凹 硬滑 0.437 0.211
    9 乌黑 稍蜷 沉闷 稍糊 稍凹 硬滑 0.666 0.091
    10 青绿 硬挺 清脆 清晰 平坦 软粘 0.243 0.267
    11 浅白 硬挺 清脆 模糊 平坦 硬滑 0.245 0.057
    12 浅白 蜷缩 浊响 模糊 平坦 软粘 0.343 0.099
    13 青绿 稍蜷 浊响 稍糊 凹陷 硬滑 0.639 0.161
    14 浅白 稍蜷 沉闷 稍糊 凹陷 硬滑 0.657 0.198
    15 乌黑 稍蜷 浊响 清晰 稍凹 软粘 0.360 0.37
    16 浅白 蜷缩 浊响 模糊 平坦 硬滑 0.593 0.042
    17 青绿 蜷缩 沉闷 稍糊 稍凹 硬滑 0.719 0.103

    2.1 分类器简单设计

    在这份数据中,“色泽”、“根蒂”、“敲声”、“纹理”、“脐部”和“触感”都为离散变量,而“密度”和“含糖率”为连续变量。利用pandas的DataFrame类型来对样本数据进行解析,相关代码如下:

    import numpy as np
    import pandas as pd
    
    #获取各个类别条件概率
    def get_pred(dataSet, inputSimple):
        p0classData = []#初始化类别矩阵
        p1classData = []
        classLabels = dataSet[dataSet.columns[-1]]#选取类别列
        for i in range(len(dataSet.columns) - 1):
            columnLabels = dataSet[dataSet.columns[i]]#特征列
            pData = pd.concat([columnLabels, classLabels], axis = 1)#拼接特征列和类别列
            classSet = list(set(classLabels))
            for pclass in classSet:
                filterClass = pData[pData[pData.columns[-1]] == pclass]#根据类别划分数据集
                filterClass = filterClass[pData.columns[-2]]
                if isinstance(inputSimple[i], float):#判断是否是连续变量
                    classVar = np.var(filterClass)#方差
                    classMean = np.mean(filterClass)#均值
                    pro_l = 1/(np.sqrt(2*np.pi) * np.sqrt(classVar))
                    pro_r = np.exp(-(inputSimple[i] - classMean)**2/(2 * classVar))
                    pro = pro_l * pro_r#概率
                    if pclass == '是':
                        p0classData.append(pro)
                    else:
                        p1classData.append(pro)
                else:
                    classNum = np.count_nonzero(filterClass == inputSimple[i])#计算属于样本特征的数量
                    pro = (classNum + 1)/(len(filterClass) + len(set(filterClass)))#此处进行了拉普拉斯修正
                    if pclass == '是':
                        p0classData.append(pro)
                    else:
                        p1classData.append(pro)
        return p0classData, p1classData
    

    上述代码是根据前文的朴素贝叶斯定义进行的设计,我们通过传入测试样本进行检验,测试样本如下:

    编号 色泽 根蒂 敲声 纹理 脐部 触感 密度 含糖率 好瓜
    测试1 青绿 蜷缩 浊响 清晰 凹陷 硬滑 0.697 0.460

    相关代码如下:

    filename = 'data.txt'
    dataSet = pd.read_csv(filename, sep = '\t', index_col = '编号')
    inputSimple = ['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.697, 0.460]
    p0classData, p1classData = get_pred(dataSet, inputSimple)
    if np.prod(p0classData) > np.prod(p1classData):#计算条件概率的累积
        print('该瓜是好瓜!')
    else:
        print('烂瓜!')
    

    结果将其划分为“好瓜”一类。

    后续将训练数据集整合后传入进行测试,相关代码如下:

    testData =[list(dataSet.ix[i][:-1]) for i in range(1,len(dataSet) + 1)]#list化
    testLabels = []
    for test in testData:
        p0classData, p1classData = get_pred(dataSet, test)
        if np.prod(p0classData) > np.prod(p1classData):
            testLabels.append('是')#保存测试结果
        else:
            testLabels.append('否')
    accuracy = np.mean(testLabels == dataSet[dataSet.columns[-1]])
    print('模型精度为%f' %accuracy)
    

    最后的测试精度为82.3529%,较为准确。

    如果数据集较大的话,该测试精度还会进一步提高,即朴素贝叶斯分类的准确度会进一步提升,这是有利于判断决策的。

    2.2 Scikit - Learn库简单实现朴素贝叶斯

    在这份数据集中,由于离散的特征变量都为字符串,这里需要对其进行哑变量处理,即转化为数值型数据,以便后续的数值计算。

    具体实现如下:

    import pandas as pd
    
    filename = 'data.txt'
    dataSet = pd.read_csv(filename, sep = '\t', index_col = '编号')
    
    #哑变量处理
    featureDict = []
    new_dataSet = pd.DataFrame()
    for i in range(len(dataSet.columns)):
        featureList = dataSet[dataSet.columns[i]]
        classSet = list(set(featureList))
        count = 0
        for feature in classSet:
            d = dict()
            if isinstance(feature, float):#判断是否为连续变量
                continue
            else:
                featureList[featureList == feature] = count
                d[feature] = count
                count += 1
            featureDict.append(d)
        new_dataSet = pd.concat([new_dataSet, featureList], axis = 1)
    

    处理完成的新数据集,通过Scikit - Learn库中的朴素贝叶斯模块进行训练和预测。

    实现如下:

    import numpy as np
    from sklearn.naive_bayes import MultinomialNB
    
    #设置训练数据集
    X = [list(new_dataSet.ix[i][:-1]) for i in range(1,len(new_dataSet) + 1)]
    Y = list(new_dataSet[new_dataSet.columns[-1]])
    
    clf = MultinomialNB()#分类器
    clf.fit(X, Y)#训练
    predicted = clf.predict(X)
    print('精度为:%f ' %np.mean(predicted == Y))
    

    最终的准确度为:88.2353%,与前文的测试结果相近。

    2.3 后期

    朴素贝叶斯的优缺点如下:
    优点:具有稳定的分类效率、能够处理多分类问题、算法简单,对缺失数据不敏感,常用于文本分类;

    缺点:准确度受到各个特征独立的影响,在实际应用中并不一定存在这种假设,需要先验概率和样本本身决定后验概率从而决定分类,并不一定准确。

    后期,笔者希望能够介绍一下如何使用Scikit - Learn库的朴素贝叶斯进行文本分类。

    3. 参考文献

    [1] 周志华. 机器学习.清华大学出版社,2016
    [2] Peter Harrington. 机器学习实战. 人民邮电出版社,2013
    [3] http://blog.csdn.net/lsldd/article/details/41542107

    相关文章

      网友评论

      • 粉红大大:写得真好,我有个问题,在你写的第二种朴素贝叶斯方法中,怎么输入一个新西瓜的参数['青绿', '蜷缩', '浊响', '清晰', '凹陷', '硬滑', 0.697, 0.460],测试它是好瓜还是烂瓜,这行代码怎么写
      • 步其:楼主,请教下··怎么把预测结果回写?···
      • 25f65f0823fc:这个例子很好

      本文标题:Python 朴素贝叶斯法

      本文链接:https://www.haomeiwen.com/subject/rtkqxxtx.html