基于概率论的分类方法：朴素贝叶斯

基于贝叶斯决策理论的分类方法

• 贝叶斯理论的核心思想，即选择具有最高概率的决策
• 优点：在数据较少的情况下仍然有效，可以处理多类别问题
• 缺点：对于输入数据的准备方式较为敏感
• 适用数据类型：标称型数据

使用朴素贝叶斯进行文档分类

• 计算条件概率的方法(贝叶斯准则)：

p(c_i|x,y)=p(x,y|c_i)p(c_i)/p(x,y)

• 概率越大说明，样本是ci的可能性越大
• 场景：在文档分类中整个文档是实例，而电子邮件中的某些元素则构成特征
• 朴素贝叶斯的一般过程

graph TD
收集数据/可以使用任何方法-->准备数据/需要数值型或者布尔型数据
准备数据/需要数值型或者布尔型数据-->分析数据/有大量特征时,绘制特征作用不大,此时使用直方图效果更好
分析数据/有大量特征时,绘制特征作用不大,此时使用直方图效果更好-->训练算法/计算不同的独立特征的条件概率
训练算法/计算不同的独立特征的条件概率-->测试算法/计算错误率
测试算法/计算错误率-->使用算法

• 贝叶斯假设：特征之间是相互独立的；每个特征同等重要
  • 特征值相互独立时，下面等式成立：

p(w_0|c_i)....P(w_n|c_i)=P(w_0,....,w_n|c_i)

文本分类的代码实现

• 准备数据：从文本中构建词向量
  • 实现方法：把文件转换为文本向量（类似于一句一句的形式：一句一句的与词汇表进行对比分析，在句子中出现的词汇，词汇表对应的向量组中标记为1

#词表到向量的转换函数
def createVocbList(dataSet):
    vocabSet=set([])
    for document in dataSet:
        vocabSet= vocabSet | set(document)
    return vocabSet
#文档到文本向量
def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vacabList:
            returnVec[vocabList.index(word)]=1
        else:
            print("the word:" + word +"is no in our Vocabulary")
    return returnVec

• 训练算法：从词向量计算概率

#训练算法：从词向量计算概率
#输入：trainMatrix-文档矩阵，trainCategory-文档标签所构成的向量
def trainNbB0(trainMatrix, trainCategory):
    numTrainDocs = len(trainMatrix)
    numWord = len(trainMatrix[0])
    #计算P(ci),由于这里是处理二分类问题，因此只需要计算P(c1)，即侮辱性语句即可
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    #计算各个词在不同类别中的总数
    p0Num = zeros(numWord)
    p1Num = zeros(numWord)
    #计算不同类别的总次数
    p0Demon = 0.0
    p1Denom = 0.0
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p0Num += trainMatrix[i]
            p0Demon += sum(trainMatrix[i])
        else:
            p1Num += trainMatrix[i]
            p1Demon += sum(trainMatrix[i])
    p0Vect = p0Num/p0Demon
    p1Vect = p1Num/p1Denom
    return pAbusive,p0Vect,p1Vect

• 测试算法：根据现实情况修改分类器
  • 问题1：在计算概率时，要计算多个概率的乘积，可能会出现其中某个概率为0，而导致最终的概率为0的情况
    • 解决方法：为了避免这种情况的出现，可以将所有值初始化为1，并将分母初始化为2.
  • 问题2：下溢出，因为太多很小的数相乘而导致最终结果很小，最后计算机进行四舍五入时会得到0.
    • 解决方法：对乘积取自然对数
• 词袋模型和词集模型：
  • 词集模型：将每个词出现与否作为一个特征
  • 词袋模型：每个词可以出现多次

#朴素贝叶斯词袋模型
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec =[0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] +=1
    return returnVec