1、模型原理

1、原理：基于概率论的方法，计算一个样本x属于某个类别c的概率最大，即计算P(c│x)的最大值，即样本x分到类别c中的概率最大 1-1.png

。

2、计算步骤：

第一步，通过条件概率，可以转化为 1-2.png

。但由于很多样本取值在训练集中根本没有出现，即很多P(x│c)=0，因此直接使用频率来估计P(x│c) 显然不可行，因为"未被观测到"与"出现概率为零"通常是不同的.

第二步，假设概率密度P(x│c)符合某种确定的概率分布形式，再基于训练样本对概率分布的函数进行极大似然估计，就是在所有可能的参数Θ中，寻找一个能使训练数据出现的“可能性”最大的值。

比如假定在连续属性情形下，数据的概率密度函数P(x│c)符合正态分布，那问题就转化为了，知道一系列的属性数据，估计正态分布的均值、方差两个参数（因为均值、方差两个参数确定了，该正态分布函数也就确定了），再然后就等于是参数都知道了，然后计算在x处的概率密度，即P(x│c)就知道了。

第三步，

1-3.png
中，p（c_i）就是一个类别的占比，比如好瓜占西瓜总数的比例，根据第二步P(x│c_i)也求出来了，再计算样本x下，哪个P(c_i│x)最大即可。

3、注意点：

（1）拉普拉斯修正

用极大似然估计可能会出现所要估计的概率值为0的情况，（如纹理=“模糊”这个属性在训练样本中，从来没有“好瓜”，再进行连成计算时，不管其他属性是什么，分类结果都是好瓜=否，这显然不太合理），因此进行了“拉普拉斯修正”，加一个常数，一般为1。

具体公式为： 1-4.png

（2）连乘会造成下溢（数字越来越小），所以将其转化为对数似然，变成对数连加。

（3）半朴素贝叶斯

属性条件独立性假设，在现实任务中这个假设往往很难成立，于是，人们尝试对其进行一定程度的放松，由此产生了“半朴素贝叶斯分类器”的学习方法，其中最常用的策略是“独依赖估计”，所谓“独依赖”就是假设每个属性在类别之外最多仅依赖一个其他属性。

4、总结

（1）对于分类而言，有时候“使用概率”要比“使用硬规则”更为有效。

（2）朴素贝叶斯常用于文本分类，比如判断是不是垃圾邮件或恶意发言。每一个单词作为一个特征，出现有否，作为0-1。最后是不是垃圾邮件也是0-1.

2、Python3中sklearn.naive_bayes的代码实现

2.1 sklearn关于朴素贝叶斯的算法概述

在scikit-learn中，一共有3个朴素贝叶斯的分类算法类。分别是GaussianNB，MultinomialNB和BernoulliNB。
GaussianNB就是先验为高斯分布的朴素贝叶斯，
MultinomialNB就是先验为多项式分布的朴素贝叶斯，
BernoulliNB就是先验为伯努利分布的朴素贝叶斯。

这三个类适用的分类场景各不相同，一般来说：
如果样本特征的分布大部分是连续值，使用GaussianNB会比较好。
如果样本特征的分布大部分是多元离散值，使用MultinomialNB比较合适。
如果样本特征是二元离散值或者很稀疏（即各个特征出现概率很低）的多元离散值，应该使用BernoulliNB。

2.2 sklearn.naive_bayes.BernoulliNB（伯努利分布、二元离散）

sklearn.naive_bayes.BernoulliNB(alpha=1.0, binarize=0.0, fit_prior=True, class_prior=None)

alpha，浮点型，可选，默认值为1.0。这从参数的作用是设置拉普拉斯修正（平滑）的数值。如果发现拟合的不好，需要调优时，可以选择稍大于1或者稍小于1的数。

binarize，浮点型或者None，可选，默认值是0.0
这个参数主要是用来帮BernoulliNB处理二项分布的，可以是数值或者不输入。如果不输入，则BernoulliNB认为每个数据特征都已经是二元的。否则的话，小于binarize的会归为一类，大于binarize的会归为另外一类。
（这里是参考刘建平博客里的说法，None代表的是不输入吗？但是它的默认值是0啊）

fit_prior，布尔型，可选，默认值是True
这个参数是设置表示是否要考虑先验概率（即各个类别的分布概率）。
如果是false,则所有的样本类别输出都有相同的类别先验概率。
如果是true，则可以自己用第三个参数class_prior输入先验概率。此时，如果不输入第三个参数class_prior，则让MultinomialNB自己从训练集样本来计算先验概率，此时的先验概率为P(Y=Ck)=mk/m。其中m为训练集样本总数量，mk为输出为第k类别的训练集样本数。

class_prior，array数组型，可选，默认值是None
这个参数是在需要考虑先验概率的情况下，人为设置先验概率，默认为None时，模型自己计算，否则，就自己输入一个表示各个类别分布概率的数组。

2.3 sklearn.naive_bayes.MultinomialNB（多项式分布、多元离散）

sklearn.naive_bayes.MultinomialNB(alpha=1.0, fit_prior=True, class_prior=None)
alpha，浮点型，可选，默认值为1.0。这从参数的作用是设置拉普拉斯修正（平滑）的数值。如果发现拟合的不好，需要调优时，可以选择稍大于1或者稍小于1的数。

fit_prior，布尔型，可选，默认值是True
这个参数是设置表示是否要考虑先验概率（即各个类别的分布概率）。
如果是false,则所有的样本类别输出都有相同的类别先验概率。
如果是true，则可以自己用第三个参数class_prior输入先验概率。此时，如果不输入第三个参数class_prior，则让MultinomialNB自己从训练集样本来计算先验概率，此时的先验概率为P(Y=Ck)=mk/m。其中m为训练集样本总数量，mk为输出为第k类别的训练集样本数。

class_prior，array数组型，可选，默认值是None
这个参数是在需要考虑先验概率的情况下，人为设置先验概率，默认为None时，模型自己计算，否则，就自己输入一个表示各个类别分布概率的数组。

2.4 sklearn.naive_bayes.GaussianNB（高斯分布、连续值）

sklearn.naive_bayes.GaussianNB(priors=None)

-priors，设置先验概率， 这个值默认为None，如果不给出此时P(Y=Ck)=mk/m。其中m为训练集样本总数量，mkmk为输出为第k类别的训练集样本数。如果给出的话就以priors 为准。

2.5 预测方法

在进行fit样本数据，训练完模型后， 有三种预测方法：
-predict 方法就是我们最常用的预测方法，直接给出测试集的预测类别输出。

-predict_proba 则不同，它会给出测试集样本在各个类别上预测的概率。容易理解，predict_proba预测出的各个类别概率里的最大值对应的类别，也就是predict方法得到类别。

-predict_log_prob,会给出测试集样本在各个类别上预测的概率的一个对数转化。转化后predict_log_proba预测出的各个类别对数概率里的最大值对应的类别，也就是predict方法得到类别。

2.6 一个简单的例子

import numpy as np
X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
Y = np.array([1, 1, 1, 2, 2, 2])
from sklearn.naive_bayes import GaussianNB
clf = GaussianNB()  #拟合数据
clf.fit(X,Y)
print(clf.predict([[-0.8, -1]]))
print(clf.predict_proba([[-0.8, -1]]))
print(clf.predict_log_proba([[-0.8, -1]]))

[1]
[[  9.99999949e-01   5.05653254e-08]]
[[ -5.05653266e-08  -1.67999998e+01]]

参考：sklearn.naive_bayes的官方说明

参考文献

刘建平博客中关于朴素贝叶斯的部分：
朴素贝叶斯算法原理小结
scikit-learn 朴素贝叶斯类库使用小结

以及sklearn朴素贝叶斯类库使用小结，详细介绍了三种朴素贝叶斯模型中，各个参数的含义。