朴素贝叶斯算法

1、前言

    朴素贝叶斯方法的实现相对简单，但是学习与预测的效率较高，该算法是除了集成学习算法之外较为常用的一种算法。

2、基本概念

    想要理解该算法，需知道以下几个概念。

2.1 联合概率

    联合概率就是指多个变量同时成立的概率。记作：P(X=a,Y=b)或P(AB)，意为，当变量X取a，变量Y取b时的概率。

2.2 边缘概率

    边缘概率就是只与某一个变量相关的概率，如：P(X=a)或P(Y=b)。
与联合概率的关系为：

2.3 条件概率

    条件概率就是已知某个变量的取值时，另外一个变量的取某值的概率，也就是在Y=b成立的前提下，X=a的概率，记作，P(X=a|Y=b)，或P(A|B)

2.4 贝叶斯公式

    首先给出上述三个概率关系公式：

理解：上式等价于

等式左边：X=a，Y=b都发生的概率；
等式右边：Y=b发生的情况下，X=a发生概率，乘以Y=b发生的概率。
作图说明：

X=a，Y=b发生的概率就等于在Y=b发生的条件下，X=a发生的概率，但是Y=b发生也是有概率的，所以要乘以Y=b发生的概率。
同样可得：

根据以上公式，可得（贝叶斯公式）：

其中(以下内容来自https://www.jianshu.com/p/c59851b1c0f3)：

（1）P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

（2）P(A|B)是已知B发生后A的条件概率（或称为“释然”），由于已知B的取值而被称作A的后验概率。

（3）P(B|A)是已知A发生后B的条件概率（或称为“释然”），由于已知A的取值而被称作B的后验概率。

（4）P(B)是B的先验概率或边缘概率，也作标准化常量。

3、贝叶斯分类器通俗理解

    在实际分类器中，贝叶斯公式变为：

例如：
有类别0、1，属性A、B、C

理解：
1）最终求得是给定各个属性（A、B、C）的取值，求该样本属于某个类别的概率；

2）如果各个属性独立（这也是“朴素”二字来源），则；以上只是简单理解，在真实分类器中，该概率是利用极大释然估计求解出来，详见https://blog.csdn.net/qq_39355550/article/details/81809467

3）P(类别)根据大数定理可知，训练样本包含足够多的独立分布时，P(类别)可以用其在训练样本中的频率代替；

4）P(属性A，属性B，属性C)与类别无关，如果属性独立，则直接用各个属性频率相乘（P(属性A)*P(属性B)*P(属性C)）进行代替；

5）根据以上分析，便可以通过贝叶斯公式求得，最终比较在已知的属性下，各个类别的概率大小，即可确定最终样本的类别。