第4章 朴素贝叶斯算法

概念介绍

贝叶斯统计都是以条件概率，联合概率为基础的，所以我们从概率，条件概率，联合概率开始，然后到贝叶斯定理。

1.概率：事件发生的可能性，比如抛一枚硬币，正面向上的可能性有50%，掷色子点数为6的可能性为1/6。我们用符号表示为P(A)。

2.条件概率：满足某些条件下事件发生的可能性，比如求一个人在买了裤子的前提下再买衣服的概率，我们用符号表示为P(B|A)，即事件A发生下B发生的概率。

3.联合概率：多个事件同时发生的可能性，比如抛硬币两次都朝上的概率P(AB) = P(A)P(B),前提是事件是相互独立的互不影响，如果不独立则联合概率为P(AB) = P(A)P(B|A)=P(B)P(A|B)=P(BA)，即当P(B) = P(B|A)时表示事件是相互独立的。

4.贝叶斯定理：P(Y|X) = P(X|Y)P(Y) / P(X),这就是贝叶斯定理。P(Y)是先验概率，P(X)是全概率，P(X|Y)是后验概率。

朴素贝叶斯的算法过程

极大似然估计下的算法过程（lambda=0)

极大似然估计就是对参数的估计，即对先验概率和后验概率的估计。

1.先验概率（I是指示函数）

2.后验概率

其中，xi(j)代表第i个样本的第j个特征，yi代表类别，ajl代表第j个特征取第l个值。

3.计算P(Y|X) = P(X|Y)P(Y) / P(X)约等于 P(X|Y)P(Y)

贝叶斯估计下的算法过程（lambda=1)

1.先验概率 （k代表类别的数量）

2.后验概率

其中，sj代表比如x=(x1,x2),那么x1可能有3个值，那么sj=3，此时j=1；那么x2的可能值是2个，那么sj=2,此时j=2。

小结

当lambada=0时，就是极大似然估计，当lambada=1时，就是贝叶斯估计，称之为拉普拉斯平滑（Laplace smoothing)。