贝叶斯定理

设试验 E 的样本空间为 S，A 为 E 的事件，B_1,B_2,...,B_n为样本空间 S 的一个划分，且 P(A)>0,P(B_i)\geq0(i=1,2,...,n)，则有：

P(B_i|A)=\frac{P(A|B_i)P(B_i)}{P(A)}=\frac{P(A|B_i)P(B_i)}{\sum_{j=1}^{n}P(A|B_j)P(B_j)}

朴素贝叶斯算法

输入

1. 训练集

T=\{(\overrightarrow{x}_1,y_1),(\overrightarrow{x}_2,y_2),...,(\overrightarrow{x}_N,y_N)\}

\overrightarrow{x}_i=(x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)})^T

x_{i}^{(j)}\in\{a_{j1},a_{j2},...,a_{js_j}\}

y_i\in\{c_1,c_2,...,c_K\}

i=1,2,...,N;j=1,2,...,n

2. 实例

\overrightarrow{x}=(x^{(1)},x^{(2)},...,x^{(n)})^T

输出

y

算法步骤

1. 先验概率的极大似然估计

P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y_i=c_k)}{N}

k=1,2,...,K

2. 条件概率的极大似然估计

P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{\sum_{i=1}^{N}I(y_i=c_k)}

j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K

3. 朴素贝叶斯法假设：在分类确定的条件下，用于分类的特征是条件独立的

y=\mathop{\arg\max}\limits_{c_k}P(Y=c_k|X=\overrightarrow{x})

=\mathop{\arg\max}\limits_{c_k}\frac{P(X=\overrightarrow{x}|Y=c_k)P(Y=c_k)}{\sum_{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}

=\mathop{\arg\max}\limits_{c_k}\frac{P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k) }{\sum_{j=1}^{K}P(X=\overrightarrow{x}|Y=c_j)P(Y=c_j)}

=\mathop{\arg\max}\limits_{c_k}P(Y=c_k)\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}|Y=c_k)

k=1,2,...,K

贝叶斯估计(最大后验估计 MAP)

P_\lambda(Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(y_i=c_k)}{K\lambda+N}

P_\lambda(X^{(j)}=a_{jl}|Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{s_j\lambda+\sum_{i=1}^{N}I(y_i=c_k)}

j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K

它等价于在X^{(j)}的各个取值的频数上赋予了一个正数\lambda

\lambda=0，极大似然估计；\lambda=1，拉普拉斯平滑

其他朴素贝叶斯分类器

假设了不同的P(X^{(j)}|y=c_k)分布

1. GaussianNB(假设特征的条件概率分布满足高斯分布)

P(X^{(j)}|y=c_k)=\frac{1}{\sqrt{2\pi\sigma_k^2}}\exp\left(-\frac{(X^{(j)}-\mu_k)^2}{2\sigma_k^2}\right)

2. MultinomialNB(假设特征的条件概率分布满足多项式分布)

P(X^{(j)}=a_{jl}|Y=c_k)=\frac{\lambda+\sum_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{s_j\lambda+\sum_{i=1}^{N}I(y_i=c_k)}

j=1,2,...,n;l=1,2,..,s_j;k=1,2,...,K

3. BernoulliNB(假设特征的条件概率分布满足二项分布)

P(X^{(j)}|y=c_k)=pX^{(j)}+(1-p)(1-X^{(j)})

X^{(j)}\in\{0,1\};P(X^{(j)}=1|y=c_k)=p