美文网首页
朴素贝叶斯

朴素贝叶斯

作者: xingzai | 来源:发表于2019-08-25 00:20 被阅读0次

  朴素贝叶斯属于生成方法。朴素体现在样本独立同分布及特征属性条件独立。朴素贝叶斯很直观,计算量不大,在很多领域有广泛的应用

  • 生成方法:直接找出特征输出Y和特征X的联合分布P(X,Y),然后根据条件概率公式P(Y|X) = \frac{P(X,Y)}{P(X)}得出结果,eg:NB、GMM、马尔可夫随机场。
  • 判别方法:直接学习出特征输出Y和特征X之间的关系,要么是决策函数Y = f(X),要么是条件分布P(Y|X)。eg:线性回归、NN、决策树、LR,CRF、SVM等;

事实上,概率模型的训练过程就是参数估计的过程,对于参数估计:

  • 频率学派:认为参数虽然未知,但却是客观存在的固定值,因此可通过优化似然函数等准则来确定参数值,eg:Maximum Likelhood Estimation(MLE);
  • 贝叶斯学派:认为参数是未观察到的随机变量,其本身也可有分布,因此,可假定参数服从一个先验分布,然后基于观测到的数据来计算参数的后验分布。

贝叶斯学派的思想可以概括为先验概率+数据=后验概率。
条件独立公式,如果X和Y相互独立:
P(X,Y) = P(X)P(Y)条件概率公式:P(Y|X) = \frac{P(X,Y)}{P(X)}P(X|Y) = \frac{P(X,Y)}{P(Y)},则P(Y|X) = \frac{P(Y)P(X|Y)}{P(X)}全概率公式:P(X) = \sum_kP(X|Y=Y_k)P(Y_k),其中\sum_kP(Y_k) = 1
从上面的公式很容易得出贝叶斯公式:P(Y_k|X) = \frac{P(Y)P(X|Y)}{ \sum_kP(X|Y=Y_k)P(Y_k)}

1. 朴素贝叶斯模型

假如我们的分类模型样本是:(x_1^{(1)},x_2^{(1)},...,x_n^{(1)},y_1),(x_1^{(2)},x_2^{(2)},...,x_n^{(2)},y_2),...,(x_1^{(m)},x_2^{(m)},...,x_n^{(m)},y_m)
即我们有m个样本,每个样本有n个特征,特征输出有K个类别,定义为C_1,C_2,...,C_K

从样本我们可以学习得到朴素贝叶斯的先验分布P(Y=C_k),(𝑘=1,2,...𝐾),接着学习到条件概率分布P(X=x|Y=C_k)=P(X_1=x_1,X_2=x_2,...,X_n=x_n|Y=C_k),然后就可以用贝叶斯公式得到XY的联合分布P(X,Y)了。联合分布P(X,Y)定义为:P(X,Y=C_k) = P(Y=C_k)P(X=x|Y=C_k)=P(X_1=x_1,X_2=x_2,...,X_n=x_n|Y=C_k)从上面的式子可以看出P(Y=C_k)比较容易通过最大似然法求出,得到的P(Y=C_k)就是类别C_k在训练集里面出现的频率。但是P(X=x|Y=C_k)很难求出,这是一个超级复杂的有n个维度的条件分布。朴素贝叶斯模型在这里做了一个大胆的假设,即X的n个维度之间相互独立,这样就可以得出:P(X_1=x_1,X_2=x_2,...,X_n=x_n|Y=C_k) = P(X_1=x_1|Y=C_k)P(X_2=x_2|Y=C_k)...P(X_n=x_n|Y=C_k)
  从上式可以看出,这个很难的条件分布大大的简化了,但是这也可能带来预测的不准确性。你会说如果我的特征之间非常不独立怎么办?如果真是非常不独立的话,那就尽量不要使用朴素贝叶斯模型了,考虑使用其他的分类方法比较好。但是一般情况下,样本的特征之间独立这个条件的确是弱成立的,尤其是数据量非常大的时候。虽然我们牺牲了准确性,但是得到的好处是模型的条件分布的计算大大简化了,这就是贝叶斯模型的选择。

  对于测试样本,既然是贝叶斯模型,当然是后验概率最大化来判断分类了。我们只要计算出所有的K个条件概率𝑃(𝑌=𝐶𝑘|𝑋=𝑋(𝑡𝑒𝑠𝑡)),然后找出最大的条件概率对应的类别,这就是朴素贝叶斯的预测了。

2. 朴素贝叶斯的推断过程

  我们预测的类别𝐶_{𝑟𝑒𝑠𝑢𝑙𝑡}是使P(Y=C_k|X=X^{(test)})最大化的类别,数学表达式为:
𝐶_{𝑟𝑒𝑠𝑢𝑙𝑡} = argmax_{C_k}P(Y=C_k|X=X^{(test)}) = argmax_{C_k}\frac{P(X=X^{(test)}|Y=C_k)P(Y=C_k)}{P(X=X^{(test)})}
由于对于所有的类别,上式的分母是一样的,因此,预测公式可以简化为:
𝐶_{𝑟𝑒𝑠𝑢𝑙𝑡} = argmax_{C_k}P(X=X^{(test)}|Y=C_k)P(Y=C_k)
接着我们利用朴素贝叶斯的独立性假设,就可以得到通常意义上的朴素贝叶斯推断公式:
𝐶_{𝑟𝑒𝑠𝑢𝑙𝑡} = argmax_{C_k}P(Y=C_k)\prod_{j=1}^nP(X=X^{(test)}|Y=C_k)

3. 朴素贝叶斯的参数估计

  在上一节中,我们知道只要求出P(Y=C_k)P(X=X^{(test)}|Y=C_k), (𝑗=1,2,...𝑛),我们通过比较就可以得到朴素贝叶斯的推断结果。这一节我们就讨论怎么通过训练集计算这两个概率。

对于P(Y=C_k),比较简单,通过极大似然估计我们很容易得到P(Y=C_k)为样本类别C_k出现的频率,即样本类别C_k出现的次数𝑚𝑘除以样本总数m。

对于P(X=X^{(test)}|Y=C_k), (𝑗=1,2,...𝑛),这个取决于我们的先验条件:

  • 如果X_j是离散的值,那么我们可以假设X_j符合多项式分布,这样得到P(X=X^{(test)}|Y=C_k)是在样本类别C_k中,特征X_j^{(test)}出现的频率。即:P(X=X^{(test)}|Y=C_k) = \frac{m_{kj^{test}}}{m_k},其中m_k为样本类别C_k总的特征计数,而m_{kj^{test}}为类别为C_k的样本中,第j维特征X_j^{(test)}出现的计数。
    某些时候,可能某些类别在样本中没有出现,这样可能导致P(X=X^{(test)}|Y=C_k)为0,这样会影响后验的估计,为了解决这种情况,我们引入了拉普拉斯平滑,即此时有:P(X=X^{(test)}|Y=C_k) = \frac{m_{kj^{test}}+ \lambda}{m_k+O_j\lambda},其中\lambda为一个大于0的常数,常常取为1。O_j为第j个特征的取值个数。
  • 如果X_j是非常稀疏的离散值,即各个特征出现概率很低,这时我们可以假设X_j符合伯努利分布,即特征X_j出现记为1,不出现记为0。即只要X_j出现即可,我们不关注X_j的次数。这样得到P(X=X^{(test)}|Y=C_k)是在样本类别C_k中,X_j^{(test)}出现的频率。此时有:P(X=X^{(test)}|Y=C_k) = P(X=1|Y=C_k)X_j^{(test)} + (1-P(X=1|Y=C_k))(1-X_j^{(test)}),其中,X_j^{(test)}取值为0和1。
  • 如果我们我们的X_j是连续值,我们通常取X_j的先验概率为正态分布,即在样本类别C_k中,X_j的值符合正态分布。这样P(X=X^{(test)}|Y=C_k)的概率分布是:P(X=X^{(test)}|Y=C_k) = \frac{1}{\sqrt{2\pi\delta_k^2}}exp(-\frac{(X_j^{(test)}-u_k)^2}{2\delta_k^2})
    其中u_k\delta_k^2是正态分布的期望和方差,可以通过极大似然估计求得。u_k为在样本类别𝐶𝑘中,所有X_j的平均值。\delta_k^2为在样本类别C_k中,所有X_j的方差。对于一个连续的样本值,带入正态分布的公式,就可以求出概率分布了。

从上面的计算可以看出,NB没有复杂的求导和矩阵运算,因此效率很高。

总结
朴素贝叶斯的主要优点有:

  • 算法逻辑简单,易于实现(算法思路很简单,只要使用贝叶斯公式转化即可!)
  • 分类过程中时空开销小(假设特征相互独立,只会涉及到二维存储)
  • 对小规模的数据表现很好,能个处理多分类任务,适合增量式训练,尤其是数据量超出内存时,我们可以一批批的去增量训练。
  • 对缺失数据不太敏感,算法也比较简单,常用于文本分类。

朴素贝叶斯的主要缺点有:

  • 假设属性之间相互独立,这个假设在实际应用中往往是不成立的,在属性个数比较多或者属性之间相关性较大时,分类效果不好。而在属性相关性较小时,朴素贝叶斯性能最为良好。对于这一点,有半朴素贝叶斯之类的算法通过考虑部分关联性适度改进。
  • 对输入数据的表达形式很敏感。
4. 朴素贝叶斯实战

sklearn 中有3种不同类型的朴素贝叶斯,对应上节提到的三种条件概率求法:

  • 高斯分布型:用于classification问题,假定属性/特征服从正态分布的。
  • 多项式型:用于离散值模型里。比如文本分类问题里面我们提到过,我们不光看词语是否在文本中出现,也得看出现次数。如果总词数为n,出现词数为m的话,有点像掷骰子n次出现m次这个词的场景。
  • 伯努利型:最后得到的特征只有0(没出现)和1(出现过)。

我们使用 iris 数据集进行分类

from sklearn.naive_bayes import GaussianNB
from sklearn.model_selection import cross_val_score
from sklearn import datasets
iris = datasets.load_iris()
gnb = GaussianNB()
scores = cross_val_score(gnb, iris.data, iris.target, cv=10)
print("Accuracy:%.3f"%scores.mean())
"""
Accuracy:0.953
"""

相关文章

  • 算法笔记(7)-朴素贝叶斯算法及Python代码实现

    朴素贝叶斯算法有三种类型,分别是贝努利朴素贝叶斯、高斯贝叶斯、多项式朴素贝叶斯。 贝叶斯公式 贝努利朴素贝叶斯 适...

  • 朴素贝叶斯法

    朴素贝叶斯法 朴素贝叶斯法的学习与分类 朴素贝叶斯法的参数估计 朴素贝叶斯实现 高斯朴素贝叶斯实现 使用 skle...

  • 朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法

    朴素贝叶斯 - 贝叶斯估计Python复现: 舟晓南:朴素贝叶斯(Bayes)模型python复现 - 贝叶斯估计...

  • 朴素贝叶斯算法介绍及优化

    朴素贝叶斯(Naive Bayes) 贝叶斯公式 朴素贝叶斯算法其实原理很简单,要理解朴素贝叶斯算法我们首先得知道...

  • 朴素贝叶斯法(NaiveBayes)

    朴素贝叶斯法(Naive Bayes) 朴素贝叶斯法是基于贝叶斯定力和特征条件独立假设的分类方法。 朴素贝叶斯法实...

  • 朴素贝叶斯算法

    问题 1. 什么是朴素贝叶斯 2. 怎么理解贝叶斯公式和朴素贝叶斯公式 3. 朴素贝叶斯算法流程是怎样...

  • 深度学习知识点汇总-机器学习基础(6)

    2.6 逻辑回归与朴素贝叶斯有什么区别? 逻辑回归是判别模型, 朴素贝叶斯是生成模型。 朴素贝叶斯属于贝叶斯,逻辑...

  • 朴素贝叶斯

    朴素贝叶斯 用处:朴素贝叶斯主要解决的是而分类的问题。 为什么叫朴素贝叶斯: 因为贝叶斯分类只做最原始,最简单的假...

  • sklearn-朴素贝叶斯

    朴素贝叶斯分为三种:高斯朴素贝叶斯、多项式朴素贝叶斯、伯努利朴素贝叶斯。这三种的不同之处在于求条件概率的公式不同。...

  • 第五周 - 20180507

    朴素贝叶斯的思路及实现 一、朴素贝叶斯简介 朴素贝叶斯法(Naive Bayes)是基于贝叶斯定理与特征条件独立假...

网友评论

      本文标题:朴素贝叶斯

      本文链接:https://www.haomeiwen.com/subject/skdcectx.html