ML之朴素贝叶斯

作者: yangOvOyang | 来源:发表于2018-12-26 15:32 被阅读30次

ML之朴素贝叶斯
Flink实现高斯朴素贝叶斯
算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯法
贝叶斯分类器
朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法
朴素贝叶斯算法介绍及优化
朴素贝叶斯法(NaiveBayes)
朴素贝叶斯算法
深度学习知识点汇总-机器学习基础（6）

1.问题描述

给定一个数据集，数据集中所有的样本点 $X$ 都对应一个类标签 $Y$ ，其中随机变量 $X \sqsubseteq \mathbb{R}^n$ ，随机变量 $Y \in \{c_1, c_2, ..., c_K \}$

现任给一个样本点 $x$ ，朴素贝叶斯将分别求出 $x$ 属于每个类别的概率 $P(Y=c_k|X=x)，k=1, 2, ..., K$ ，然后选择对应概率最大的 $c_k$ 作为该样本点的类别

2.条件概率

根据条件概率，有

$P(A|B)=\frac {P(AB)} {P(B)} = \frac {P(A)P(B|A)} {P(B)} \qquad (1)$

这里我们将 $Y=c_k$ 看成事件 $A$ ，将 $X=x$ 视作事件 $B$ ，那么 $P(Y=c_k|X=x)$ 可变形为

$P(Y=c_k|X=x)=\frac {P(Y=c_k)P(X=x|Y=c_k)} {P(X=x)} \qquad (2)$

3.全概率公式

根据全概率公式，有
$\begin{aligned} P(B) & =P(BA_1)+P(BA_2)+...+P(BA_n) \\ \\ & = P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+...+P(A_n)P(B|A_n) \\ \\ & = \sum_{i=1}^n{P(A_i)P(B|A_i)} \qquad (3) \end{aligned}$

这里的事件A被拆分成n个独立事件

于是我们将(2)式中的分母按照全概率公式展开，得到

$\begin{aligned} P(Y=c_k|X=x)=\frac {P(Y=c_k)P(X=x|Y=c_k)} {\sum_{k=1}^{K} {P(Y=c_k)P(X=x|Y=c_k)}} \qquad (4) \end{aligned}$

观察(4)式发现，推导到这一步，要计算样本点 $x$ 的类别，其实就只需要计算 $P(Y=c_k)$ 和 $P(X=x|Y=c_k)$ 了

4. 朴素贝叶斯为什么“朴素”？

先将 $P(Y=c_k)$ 放一放，来看看如何计算 $P(X=x|Y=c_k)$ 。由于数据集中的 $x$ 是一个 $n$ 维特征向量，所以

$P(X=x|Y=c_k)=P(X^{(1)}=x^{(1)}, X^{(2)}=x^{(2)}, ..., X^{(n)}=x^{(n)}|Y=c_k) \qquad (5)$

如果假设特征向量 $x$ 的任意一个特征 $x^j$ 的取值有 $s_j$ 种， $j = 1,2, ..., n$ ， $s_j=1,2,3,...$ ，类别标签 $c_k$ 又有K种，即 $k=1,2,...,K$ 。那么要直观去计算 $P(X=x|Y=c_k)$ 需要 $K\prod_{i=1}^n {s_i}$ 个参数，和决策树一样，实际情况不可能有这么多数据。

为了极大地简化计算，朴素贝叶斯算法在这里做了最为朴素最为简单的假设：特征条件独立假设。这就是朴素一词的由来^[1]。即假设所有特征之间是独立并且同等重要的。

根据特征条件独立假设，(5)式便可化简为：

$\begin{aligned} P(X=x|Y=c_k) & = P(X^{(1)}=x^{(1)}, X^{(2)}=x^{(2)}, ..., X^{(n)}=x^{(n)}|Y=c_k) \\ \\ & = P(X^{(1)}=x^{(1)}|Y=c_k)P(X^{(2)}=x^{(2)}|Y=c_k) \cdots P(X^{(n)}=x^{(n)}|Y=c_k) \\ \\ & = \prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) \qquad (6) \end{aligned}$

将(4)(6)组合，得朴素贝叶斯最终的计算公式：

$\begin{aligned} y\_ & = f(x)\\ \\ & = argmax_{c_k} P(Y=c_k|X=x) \\ \\ & = \frac {P(Y=c_k)P(X=x|Y=c_k)} {\sum_{k=1}^{K} {P(Y=c_k)P(X=x|Y=c_k)}} \\ \\ & = \frac {P(Y=c_k) \prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k)} {\sum_{k=1}^{K} P(Y=c_k) \prod_{j=1}^n P(X^{(j)}=x^{(j)}|Y=c_k) } \qquad (7) \end{aligned}$

到这里求解 $P(Y=c_k|X=x)$ 就只需要求解 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$ 就可以了。

5.最大似然估计

在给定数据集的基础上，使用最大似然估计来求解 $P(Y=c_k)$ 和 $P(X^{(j)}=x^{(j)}|Y=c_k)$ ，假设训练集的数量为N，借用指示函数 $I(expression)$ 来统计满足 $\text{[math]}$ 的个数如下所示：

$\begin{aligned} P(Y=c_k) & = \frac {\sum_{i=1}^N I(y_i=c_k)} {N} \qquad k=1,2,3, ..., K \qquad (7)\\ \\ P(X^{(j)}=a_{jl}|Y=c_k) & = \frac {\sum_{i=1}^N I(x_i^{(j)}=a_{jl}, y_i=c_k)} {\sum_{i=1}^N I(y_i=c_k)} \qquad l = 1,2, ..., s_j \qquad (8) \end{aligned}$

至此，朴素贝叶斯已经可以直接计算出任一样本点 $x$ 属于各个类别的概率了，即在给定样本点 $x$ 的情况下，类别标签为 $c_k$ 的概率 $P(Y=c_k|X=x)$ 。

之前在bilibili上看到一个朴素贝叶斯的讲解视频，讲解者一开始被提问“为何叫朴素”时竟然说自己也不清楚反正就是这么叫的，着实让人心寒。 ↩

ML之朴素贝叶斯
1.问题描述给定一个数据集，数据集中所有的样本点都对应一个类标签，其中随机变量，随机变量现任给一个样本点，朴素...
Flink实现高斯朴素贝叶斯
Flink实现高斯朴素贝叶斯在之前的文章中提到了多项式的朴素贝叶斯，在spark的ML里也实现了多项式的朴素贝叶...
算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯算法有三种类型，分别是贝努利朴素贝叶斯、高斯贝叶斯、多项式朴素贝叶斯。贝叶斯公式贝努利朴素贝叶斯适...
朴素贝叶斯法
朴素贝叶斯法朴素贝叶斯法的学习与分类朴素贝叶斯法的参数估计朴素贝叶斯实现高斯朴素贝叶斯实现使用 skle...
贝叶斯分类器
贝叶斯分类器朴素贝叶斯，简单代码可参考： https://github.com/AresAnt/ML-DL 贝...
朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法
朴素贝叶斯 - 贝叶斯估计Python复现：舟晓南：朴素贝叶斯（Bayes）模型python复现 - 贝叶斯估计...
朴素贝叶斯算法介绍及优化
朴素贝叶斯（Naive Bayes）贝叶斯公式朴素贝叶斯算法其实原理很简单，要理解朴素贝叶斯算法我们首先得知道...
朴素贝叶斯法(NaiveBayes)
朴素贝叶斯法(Naive Bayes) 朴素贝叶斯法是基于贝叶斯定力和特征条件独立假设的分类方法。朴素贝叶斯法实...
朴素贝叶斯算法
问题 1. 什么是朴素贝叶斯 2. 怎么理解贝叶斯公式和朴素贝叶斯公式 3. 朴素贝叶斯算法流程是怎样...
深度学习知识点汇总-机器学习基础（6）
2.6 逻辑回归与朴素贝叶斯有什么区别？逻辑回归是判别模型，朴素贝叶斯是生成模型。朴素贝叶斯属于贝叶斯，逻辑...

ML之朴素贝叶斯

1.问题描述

2.条件概率

3.全概率公式

4. 朴素贝叶斯为什么“朴素”？

5.最大似然估计

相关文章

ML之朴素贝叶斯

Flink实现高斯朴素贝叶斯

算法笔记（7）-朴素贝叶斯算法及Python代码实现

朴素贝叶斯法

贝叶斯分类器

朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法

朴素贝叶斯算法介绍及优化

朴素贝叶斯法(NaiveBayes)

朴素贝叶斯算法

深度学习知识点汇总-机器学习基础（6）

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读

贝叶斯