朴素贝叶斯

作者: 晨光523152 | 来源:发表于2019-07-01 16:58 被阅读0次

算法笔记（7）-朴素贝叶斯算法及Python代码实现
朴素贝叶斯法
朴素贝叶斯(NBM)之后验概率最大化的含义 | 统计学习方法
朴素贝叶斯算法介绍及优化
朴素贝叶斯法(NaiveBayes)
朴素贝叶斯算法
深度学习知识点汇总-机器学习基础（6）
朴素贝叶斯
sklearn-朴素贝叶斯
第五周 - 20180507

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。
首先基于特征条件独立假设学习输入/输出的联合概率分布，然后基于此模型，对给定的输入 $x$ ，利用贝叶斯定理求出后验概率最大的输出 $y$ 。

朴素贝叶斯法的学习与分类

设输入特征向量 $x\in R^{n}，y\in \{ c_1,c_2,...,c_k\}$ ， $P(X,Y)$ 是X和Y的联合概率分布。训练数据集 $T=\{(x1,y1),(x2,y2),...,(x_n,y_n)\}$ (由P(X,Y)独立同分布产生。)
朴素贝叶斯法通过训练数据集学习联合概率分布P(X,Y)。（具体地，学习以下先验概率分布和条件概率分布）。
先验概率分布： $P(Y=c_{k}), k = 1,2,...,K$
条件概率分布： $P(X=x|Y=c_k) = P(X^{(1)}=x^{1},...,X^{n}=x^{n}|Y=c_k),k=1,2,..,K$
条件概率分布 $P(X=x|Y=c_k)$ 有指数级数量的参数，其估计实际上是不可行的。（假设 $x^{i}$ 可取值有 $S_{i}$ 个， $i=1,2,...,n$ ， $Y$ 的取值有 $K$ 个，那么参数总共有 $S_1*S_2*...*S_n*K$ ，因为不独立）。

朴素贝叶斯法对条件概率分布做了条件独立性的假设（为什么要做这个假设呢，做完之后也没有改变参数的个数）
条件独立性假设是：

条件独立性假设.png
条件独立假设等于是说：用于分类的特征在类确定的条件下的都是条件独立的。

朴素贝叶斯学习到生成数据的机制，所以属于生成模型。

朴素贝叶斯法进行分类时，对给定的输入 $x$ ，通过学习到的模型计算后验概率分布 $P(Y=c_k|X=x)$ ，将后验概率最大的类作为 $x$ 的类输出。
$P(Y=c_k|X=x)=\frac{P(Y=c_k,X=x)}{P(X=X)}$
接着分母用全概率公式，分子再用次条件概率公式。就得到用贝叶斯公式计算厚颜概率：