朴素贝叶斯法

理论

公式推导

朴素贝叶斯法是基于贝叶斯定理和特征条件独立假设的分类方法，即对给定的输入 ，预测其类别 。
此方法的思路是首先由训练数据计算 和 的估计,然后得到联合概率分布

之后利用贝叶斯定理及学到的联合概率分布计算 属于类别 的概率

对于给定的输入 ，通过上式计算 属于类别 的概率 ，即

又由朴素贝叶斯法的特征条件独立性假设，有

其中， 为 维向量， 为 的第 个特征。故

将 分到后验概率最大的类中，朴素贝叶斯分类器可表示为

又因为上式中分母对于所有 都是相同的，故上式可以简化为

由上式可知，只要由训练数据估计出每一个类别的概率 和输入的每一个特征值在某一类别下的概率 ，便可进行预测。下面介绍进行估计的两种方法。

参数估计

极大似然估计

假设训练数据集为 。
先验概率 的极大似然估计为

设第 个特征 可能取值的集合为 ，条件概率 的极大似然估计为


其中， 是第 个样本的第 个特征； 是第 个特征可能取的第 个值； 为指示函数，满足取 ，否则取 。

贝叶斯估计

极大似然估计可能会出现所要估计的概率值为0的情况，在随机变量各个取值的频数上赋予一个正数 ，常取 ，称为拉普拉斯平滑。

实现

训练一个朴素贝叶斯分类器并确定 的类标记 。表中 ， 为特征，取值集合分别为 ， ， 为类标记，。

训练数据 train_data.csv

ID,X1,X2,Y
1,1,S,-1
2,1,M,-1
3,1,M,1
4,1,S,1
5,1,S,-1
6,2,S,-1
7,2,M,-1
8,2,M,1
9,2,L,1
10,2,L,1
11,3,L,1
12,3,M,1
13,3,M,1
14,3,L,1
15,3,L,-1

代码实现 naivebayes.py

 # -*- coding: utf-8 -*-
import pandas as pd


def add2dict(thedict, key_a, key_b, val):
    if key_a in thedict.keys():
        thedict[key_a].update({key_b: val})
    else:
        thedict.update({key_a:{key_b: val}})        

def conditionalProbability(obj, attribute, clazz, lambd):
    C = obj[clazz].value_counts()
    label = C.index
    counts = C.values

    CP = dict()
    for i in range(label.size):
        for j in range(attribute.size):
            temp = obj[obj[clazz] == label[i]][attribute[j]] 
            CC = temp.value_counts()
            Sj = obj[attribute[j]].value_counts().index.size
            P = ( CC + lambd) / ( counts[i] + Sj*lambd)
            add2dict(CP,label[i],attribute[j],P) # Using dict to store probabilities
    return CP

def priorProbability(obj, clazz, lambd):
    C = obj[clazz].value_counts()
    N = float(obj.index.size)
    K = float(C.index.size)
    P = ( C + lambd ) / ( N + K*lambd)
    return P

def predicts(x, obj, attribute, clazz,lambd):
    label = obj[clazz].value_counts().index # Types of class
    P = priorProbability(obj,clazz, lambd) # Prior probability
    CP = conditionalProbability(obj, attribute, clazz, lambd) # Conditional probability
    max_p = 0 # Probability of the most likely class
    max_c = '' # The most likely class
    for i in range(label.size):
        cur_max_p = 1
        for j in range(attribute.size):
            cur_max_p *= CP[label[i]][attribute[j]][x[j]]
        cur_max_p *= P[label[i]]
        if cur_max_p > max_p:
            max_c = str(label[i])
            max_p = cur_max_p
    return [max_c,max_p]

df = pd.read_csv('train_data.csv', encoding='utf-8')
[max_c,max_p] = predicts([2,'S'],df, df.columns.drop('Y').drop('ID'), 'Y', 1)
print(max_c,max_p)