我们之前的文章带你理解朴素贝叶斯分类算法中已经根据朴素贝叶斯算法给出了当一个男生想他的女朋友求婚，女生是否嫁给他的答案！
这个男生的四个特征是长相不帅，性格不好，身高矮，不上进，我们最终得出的结论是女生不嫁！很多人说这是一道送分题，哈哈哈哈。我们用数学算法也说明了不靠谱是取不到老婆滴！
那么我们再来一个例子，假如此时另外一对情侣，这对情侣中，男生的四个特征是，长相帅，性格爆好，身高高，上进，那么他的女朋友嫁还是不嫁呢？可能又会有小伙伴说这是一道送分题，是不是，我们下面用事实说话！
下面通过例子来引出拉普拉斯平滑过程！
从例子开始
还是下面的训练数据：
image
四个特征集合分别长相{帅，不帅}、性格{爆好，好，不好}、身高{高，中，矮}、上进与否{上进，不上进}
我们此时要求出该男生在四个特征分别是长相帅，性格爆好，身高高，上进的情况下，他对应的嫁与不嫁的概率谁大谁小，从而得出结论！
也就是要比较p(嫁|长相帅，性格爆好，身高高，上进)与p(不嫁|长相帅，性格爆好，身高高，上进)的概率大小。
按照朴素贝叶斯算法公式，我们可以得到如下公式：
image
image
由于两者的分母都是p(长相帅)、p(性格爆好)、p(身高高)、p（上进）,那么我们可以不算分母，比较的时候只比较俩个公式分子大小即可。
好的，下面我们开始计算，先计算在四个特征的条件下，嫁的概率。
我们需要分别计算p（性格爆好|嫁）、p(长相帅|嫁)、p(身高高|嫁)、p(上进|嫁)
首先我们来算p(性格爆好|嫁)=？我们观察训练数据，发现如下：
image
居然没有一个数据有爆好这个特点的，那么p（性格爆好|嫁） = 0，那么我们可以看出问题了，根据公式：
image
我们最后的p(嫁|长相帅、性格爆好、身高高、上进)由于一项p（性格爆好|嫁）为0，而造成整个概率为0，这显然是错误的。
而这个错误的造成是由于训练量不足，会令分类器质量大大降低。为了解决这个问题，我们引入Laplace校准（这就引出了我们的拉普拉斯平滑），它的思想非常简单，就是对每个类别下所有划分的计数加1，这样如果训练样本集数量充分大时，并不会对结果产生影响，并且解决了上述频率为0的尴尬局面。
引入拉普拉斯平滑的公式如下：
image
image
其中ajl，代表第j个特征的第l个选择，Sj代表第j个特征的个数，K代表种类的个数。
λ为1，这也很好理解，加入拉普拉斯平滑之后，避免了出现概率为0的情况，又保证了每个值都在0到1的范围内，又保证了最终和为1的概率性质！
我们可以通过下面例子更加深刻的理解这个公式：（现在我们是加入拉普拉斯平滑）
加入拉普拉斯平滑
我们先需要分别计算p（性格爆好|嫁）、p(长相帅|嫁)、p(身高高|嫁)、p(上进|嫁)，p(嫁)
p(性格爆好|嫁)=？统计满足要求的如下面红色部分
image
没有一个满足是性格爆好的条件，但是此时概率不为0，按照加入拉普拉斯平滑后的公式,性格特征的个数为爆好，好，不好，三种情况，那么Sj为3，则最终概率为1/9 （嫁的个数为6+特征个数为3）
p(长相帅|嫁)=？统计满足条件的如下面红色部分：
image
由上图可知满足要求的为3个，按照加入拉普拉斯平滑后的公式,长相特征的个数为帅，不帅，两种情况，那么Sj为2，则最终概率p(长相帅|嫁)为4/8 （嫁的个数为6+特征个数为2）
p（身高高|嫁） = ？统计满足条件的如下面红色部分：
image
由上图可知满足要求的为3个，按照加入拉普拉斯平滑后的公式,身高特征的个数为高，中，矮情况，那么Sj为3，则最终概率p(身高高|嫁)为4/9 （嫁的个数为6+特征个数为3）
p（上进|嫁)=？统计满足要求的如下面红色部分：
image
由上图可知满足要求的为5个，按照加入拉普拉斯平滑后的公式,上进特征的个数为上进，不上进情况，那么Sj为2，则最终概率p(上进|嫁)为6/8 （嫁的个数为6+特征个数为2）
p(嫁) = ？满足要求的如下红色标注：
image
由上图可知满足要求的为6个，按照加入拉普拉斯平滑后的公式,种类的个数为嫁，不嫁情况，那么K为2，则最终概率p(嫁)为7/14 = 1/2 （嫁的个数为6+种类个数为2）
到这里为止，我们已经算出了在该男生条件下，嫁的概率为：
p(嫁|长相帅、性格爆好、身高高、上进) = 1/94/84/96/81/2
下面我们需要算出p(不嫁|长相帅、性格爆好、身高高、上进)的概率，然后与上面的数值进行比较即可，算法与上面完全一模一样！这里也走一遍。
我们需要估计出p(长相帅|不嫁)、p(性格爆好|不嫁)、p(身高高|不嫁)、p（上进|不嫁），p（不嫁）的概率分别为多少。
p（长相帅|不嫁）=？满足要求如下面红色标注：
image
由上图可知满足要求的为5个，按照加入拉普拉斯平滑后的公式,长相帅特征的个数为不帅，帅情况，那么Sj为2，则最终概率p(长相不帅|不嫁)为6/8 （不嫁的个数为6+特征个数为2）
p（性格爆好|不嫁）=？满足要求如下面红色标注：
image
没有一个满足是性格爆好的条件，但是此时概率不为0，按照加入拉普拉斯平滑后的公式,性格特征的个数为爆好，好，不好，三种情况，那么Sj为3，则最终概率p（性格爆好|不嫁）为1/9 （不嫁的个数为6+特征个数为3）
p（身高高|不嫁）=？满足要求如下面红色标注：
image
没有一个满足是身高高的条件，但是此时概率不为0，按照加入拉普拉斯平滑后的公式，身高特征的个数为高，中，矮，三种情况，那么Sj为3，则最终概率p(身高高|不嫁)为1/9 （不嫁的个数为6+特征个数为3）
p（上进|不嫁）=？满足要求如下面红色标注：
image
由上图可知满足要求的为3个，按照加入拉普拉斯平滑后的公式,上进特征的个数为上进，不上进情况，那么Sj为2，则最终概率p(上进|不嫁)为4/8 （不嫁的个数为6+特征个数为2）
p（不嫁）=？满足要求的如红色标注：
image
由上图可知满足要求的为6个，按照加入拉普拉斯平滑后的公式，种类的个数为嫁，不嫁情况，那么K为2，则最终概率p(不嫁)为7/14 = 1/2 （不嫁的个数为6+种类个数为2）
到这里为止，我们已经算出了在该男生条件下，不嫁的概率为：
p(不嫁|长相帅、性格爆好、身高高、上进) = 5/81/91/93/81/2
结论
于是我们可以得到
p(嫁|长相帅、性格爆好、身高高、上进) = 1/94/84/96/81/2 > p(不嫁|长相帅、性格爆好、身高高、上进) = 6/81/91/94/81/2
于是我们可以大胆的告诉女生，这样的好男人，贝叶斯告诉你了，该嫁！！！
这就是我们使用拉普拉斯平滑后计算的整个算法过程！
实例：
#!/usr/bin/python
# coding=utf-8
from numpy import *
# 过滤网站的恶意留言 侮辱性：1 非侮辱性：0
# 创建一个实验样本
def loadDataSet():
postingList = [['my','dog','has','flea','problems','help','please'],
['maybe','not','take','him','to','dog','park','stupid'],
['my','dalmation','is','so','cute','I','love','him'],
['stop','posting','stupid','worthless','garbage'],
['mr','licks','ate','my','steak','how','to','stop','him'],
['quit','buying','worthless','dog','food','stupid']]
classVec = [0,1,0,1,0,1]
return postingList, classVec
# 创建一个包含在所有文档中出现的不重复词的列表
def createVocabList(dataSet):
vocabSet = set([]) # 创建一个空集
for document in dataSet:
vocabSet = vocabSet | set(document) # 创建两个集合的并集
return list(vocabSet)
# 将文档词条转换成词向量
def setOfWords2Vec(vocabList, inputSet):
returnVec = [0]*len(vocabList) # 创建一个其中所含元素都为0的向量
for word in inputSet:
if word in vocabList:
# returnVec[vocabList.index(word)] = 1 # index函数在字符串里找到字符第一次出现的位置 词集模型
returnVec[vocabList.index(word)] += 1 # 文档的词袋模型 每个单词可以出现多次
else: print("the word: %s is not in my Vocabulary!" % word)
return returnVec
# 朴素贝叶斯分类器训练函数 从词向量计算概率
def trainNB0(trainMatrix, trainCategory):
print(trainMatrix)
print('='*27)
print(trainCategory)
numTrainDocs = len(trainMatrix)
numWords = len(trainMatrix[0])
print(sum(trainCategory))
pAbusive = sum(trainCategory)/float(numTrainDocs)
# p0Num = zeros(numWords); p1Num = zeros(numWords)
# p0Denom = 0.0; p1Denom = 0.0
p0Num = ones(numWords); # 避免一个概率值为0,最后的乘积也为0
p1Num = ones(numWords); # 用来统计两类数据中，各词的词频
p0Denom = 2.0; # 用于统计0类中的总数
p1Denom = 2.0 # 用于统计1类中的总数
for i in range(numTrainDocs):
if trainCategory[i] == 1:
p1Num += trainMatrix[i]
p1Denom += sum(trainMatrix[i])
else:
p0Num += trainMatrix[i]
p0Denom += sum(trainMatrix[i])
# p1Vect = p1Num / p1Denom
# p0Vect = p0Num / p0Denom
p1Vect = log(p1Num / p1Denom) # 在类1中，每个次的发生概率
p0Vect = log(p0Num / p0Denom) # 避免下溢出或者浮点数舍入导致的错误 下溢出是由太多很小的数相乘得到的
return p0Vect, p1Vect, pAbusive
# 朴素贝叶斯分类器
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
p1 = sum(vec2Classify*p1Vec) + log(pClass1)
p0 = sum(vec2Classify*p0Vec) + log(1.0-pClass1)
if p1 > p0:
return 1
else:
return 0
def testingNB():
listOPosts, listClasses = loadDataSet()
myVocabList = createVocabList(listOPosts)
trainMat = []
for postinDoc in listOPosts:
trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
p0V, p1V, pAb = trainNB0(array(trainMat), array(listClasses))
testEntry = ['love','my','dalmation']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
testEntry = ['stupid','garbage']
thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
print(testEntry, 'classified as: ', classifyNB(thisDoc, p0V, p1V, pAb))
# 调用测试方法----------------------------------------------------------------------
testingNB()
网友评论