教材选用《统计学习方法》，第一版，李航著；
代码取自《机器学习实战》，人民邮电出版社；

---

朴素贝叶斯介绍

朴素贝叶斯法是种基于概率论中贝叶斯定理与特征条件独立假设的分类方法。它的定义为：
对给定的训练集首先基于特征条件独立假设学习输入、输出的联合概率分布;

联合概率分布
特征条件独立假设是指使用简单(naive)的假设：每对特征之间都相互独立，朴素贝叶斯(naive bayes)也因此命名。

然后基于此模型，对给定的输入，利用贝叶斯定理求出后验概率最大的输出。

后验概率最大化
上面是数学定义，要简单理解朴素贝叶斯查看这里。

---

用Python实现朴素贝叶斯对文本的分类

实现对文本的分类首先要将拆分文本，然后把每个文本片段表示为一个词条向量，然后基于词条计算条件概率，并在此基础上构建分类器。朴素贝叶斯的模型有几种：高斯模型、伯努利模型、多项式模型。这里采用伯努利模型实现，即假设每个特征为二元变量，只考虑词在文本中出现或不出现。

1.从文本中构建词向量

首先导入科学计算包numpy模块，然后建立数据集，样本集postingList，特征为classVec 。（运行环境为Python3.6）

from numpy import *

def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    #1代表出现侮辱性词语, 0代表没有
    return postingList,classVec

然后createVocabList()创建一个所有包含所有文档中出现不重复词的列表，通过setOfWords2Vec()将词汇表中的单词是否在输入文档中出现标记。

def createVocabList(dataSet):
    vocabSet = set([])  #创建一个空集
    for document in dataSet:
        vocabSet = vocabSet | set(document) #创建两个集合的并集
    return list(vocabSet)

def setOfWords2Vec(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print ("the word: %s is not in my Vocabulary!" % word)
    return returnVec

2.从词向量计算概率

trainNB0()函数的输入有两项：trainMatrix为文档矩阵，trainCategory为文档类别标签所构成的向量。

def trainNB0(trainMatrix,trainCategory):
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    #1.防止出现多个概率相乘为0的情况，初始化向量设为1，分母设为2（拉普拉斯平滑系数）
    p0Num = ones(numWords); p1Num = ones(numWords)   
    p0Denom = 2.0; p1Denom = 2.0  
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    #2.使用自然对数解决下溢出的问题
    p1Vect = log(p1Num/p1Denom) 
    p0Vect = log(p0Num/p0Denom)
    return p0Vect,p1Vect,pAbusive

3.测试分类器classifyNB()

classifyNB()的输入有四个：需要分类的向量vec2Classify和trainNB0()得到的三个输出。

def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
    #元素相乘
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)    
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else: 
        return 0

---

用sklearn实践朴素贝叶斯

实践时参考了以下文章：
sklearn朴素贝叶斯类库使用小结