朴素贝叶斯

作者: arcral | 来源:发表于2017-09-05 11:43 被阅读0次

算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯法
朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法
朴素贝叶斯算法介绍及优化
朴素贝叶斯法(NaiveBayes)
朴素贝叶斯算法
深度学习知识点汇总-机器学习基础（6）
朴素贝叶斯
sklearn-朴素贝叶斯
第五周 - 20180507

朴素贝叶斯法

标签：统计学习

基本方法

朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。主要由一下先验概率分布与条件概率分布学习，
先验概率分布：

$P(Y=C_k), k=1,2,\cdots,K$

条件概率分布：

$\begin{aligned}P(X=x|Y=c_k) & = P(X^{(1)}=x^{(1)},\cdots,X^{(n)}=x^{(n)}|Y=c_k) , \\ k & = 1,2,\cdots,K\end{aligned}$

朴素贝叶斯法对条件概率分布作了条件独立性假设，也因此得名。条件独立性假设是指：

$\begin{aligned}P(X=x|Y=c_k) & = P(X^{(1)}=x^{(1)},\cdots,X^{(n)}=x^{(n)}|Y=c_k) \\ & = \prod_{j=1}^nP(X^{(j)}=x^{(j)}|Y=c_k)\end{aligned}$

条件独立假设等价于表明在类确定的条件下，用于分类的各特征都是条件独立的
朴素贝叶斯法实际学习到了生成数据的机制，属于生成模型
模型推导过程：后验概率依据贝叶斯定理有

$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_{k}P(X=x|Y=c_k)P(Y=c_k)}$
代入条件概率分布，有
$P(Y=c_k|X=x)=\frac{P(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_{k}P(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$

获得模型，有

$y=f(x)=\mathop{\arg\max}_{c_k}\frac{P(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{\sum_{k}P(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$
由于分母对于所有输出都是一样的，可以略去，有
$y=\mathop{\arg\max}_{c_k}P(Y=c_k)\prod_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$
后验概率最大化等价于0-1损失函数时的期望风险最小化

参数估计

极大似然估计

先验概率的极大似然估计是（i为样本，k为输出类别）

$P(Y=c_k)=\frac{\sum\limits_{i=1}^N I(y_i=c_k)}{N}$

条件概率的极大似然估计是（j为特征，l为可能的取值）

$P(X^{(j)}=a_{jl})=\frac{\sum\limits_{i=1}^N I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum\limits_{i=1}^NI(y_i=c_k)}$

贝叶斯估计

使用贝叶斯估计可能会出现估计值为0，影响后验概率的计算，使结果产生偏差。处理方法是在各个取值频数上添加一个正数项λ
先验概率

$P(Y=c_k)=\frac{\sum\limits_{i=1}^N I(y_i=c_k) + \lambda}{N + K\lambda}$

条件概率

$P(X^{(j)}=a_{jl})=\frac{\sum\limits_{i=1}^N I(x_i^{(j)}=a_{jl},y_i=c_k) + \lambda}{\sum\limits_{i=1}^NI(y_i=c_k) + S_j\lambda}$
当λ=0时，就是极大似然估计；当λ=1时，称为拉普拉斯平滑

算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯算法有三种类型，分别是贝努利朴素贝叶斯、高斯贝叶斯、多项式朴素贝叶斯。贝叶斯公式贝努利朴素贝叶斯适...
朴素贝叶斯法
朴素贝叶斯法朴素贝叶斯法的学习与分类朴素贝叶斯法的参数估计朴素贝叶斯实现高斯朴素贝叶斯实现使用 skle...
朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法
朴素贝叶斯 - 贝叶斯估计Python复现：舟晓南：朴素贝叶斯（Bayes）模型python复现 - 贝叶斯估计...
朴素贝叶斯算法介绍及优化
朴素贝叶斯（Naive Bayes）贝叶斯公式朴素贝叶斯算法其实原理很简单，要理解朴素贝叶斯算法我们首先得知道...
朴素贝叶斯法(NaiveBayes)
朴素贝叶斯法(Naive Bayes) 朴素贝叶斯法是基于贝叶斯定力和特征条件独立假设的分类方法。朴素贝叶斯法实...
朴素贝叶斯算法
问题 1. 什么是朴素贝叶斯 2. 怎么理解贝叶斯公式和朴素贝叶斯公式 3. 朴素贝叶斯算法流程是怎样...
深度学习知识点汇总-机器学习基础（6）
2.6 逻辑回归与朴素贝叶斯有什么区别？逻辑回归是判别模型，朴素贝叶斯是生成模型。朴素贝叶斯属于贝叶斯，逻辑...
朴素贝叶斯
朴素贝叶斯用处：朴素贝叶斯主要解决的是而分类的问题。为什么叫朴素贝叶斯：因为贝叶斯分类只做最原始，最简单的假...
sklearn-朴素贝叶斯
朴素贝叶斯分为三种：高斯朴素贝叶斯、多项式朴素贝叶斯、伯努利朴素贝叶斯。这三种的不同之处在于求条件概率的公式不同。...
第五周 - 20180507
朴素贝叶斯的思路及实现一、朴素贝叶斯简介朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假...