朴素贝叶斯算法属于分类算法。发源于古典数学理论，对缺失数据不太敏感，有稳定的分类效率，模型所需估计的参数很少，算法比较简单。
朴素贝叶斯算法，贝叶斯是说明这个算法和贝叶斯定理有联系，而朴素是因为处理实际的需要，做了一个简化——假设每个特征之间是独立的（如果研究的对象互相之间的影响很强，计算概率时考虑的问题非常复杂，做了独立假设，就可以分解后进行研究），这是这个算法模型与贝叶斯定理的区别。
image.png
将 x 作为特征，y 作为类别，那公式左边的 P（yi|x）就是说在知道特征 x 的情况下，计算这个特征属于 yi 类的可能性大小。通过比较找出这个可能性的值最大的属于哪一类，就将特征 x 归为这一类。
image.png
第3步的计算就是整个关键所在，计算依据是上面的贝叶斯公式。
对于每一个类的概率计算，公式右边的分母的 P(x)都是相同的，所以可以不计算（我们只是对最终结果进行比较，不影响）。
P（yi）也称为先验概率，是 x 属于 yi 类的一个概率，这个是通过历史信息得到的（在程序实现的时候，历史信息或者说先验信息就是我们的训练数据集），我们通过对训练样本数据进行统计，分别算出 x 属于 y1,y2,...,yn 类的概率是多少,这个是比较容易得到的。
所以，主要是求 P（x|yi）= P(a1,a2,...,am|yi)
这个时候对于贝叶斯模型的朴素的独立性假设就发挥作用了(综合的计算变成了独立计算后的综合，简化模型，极大地减少了计算的复杂程度)：
P(a1,a2,...,am|yi) = P(a1|yi)P(a2|yi)...P(am|yi)
所以计算想要得到的东西如下：
image.png
一个程序简例
'''#########################################################################################
# Name: NB-test
# Author: Wenchao Liu
# Date: 2018-12-23
# Description: To study the Naive Bayes method by using a simple example.
# Windows10, Python3.7
#########################################################################################'''
def dealData(D, L):
'''将训练集中的连续数据离散化，符号数据数值化。'''
for item in D:
if(int(item[0]) > 0):
item[0] = 1
if(float(item[2]) > 0.5):
item[2] = 1
else:
item[2] = 0
#print(data)
for i in range(len(L)):
if(L[i] == '涨'):
L[i] = 1
else:
L[i] = 0
#print(L)
return D, L
def splitData(D, L):
'''将训练集中的不同类数据分开，方便统计处理。'''
D0 = []
D1 = []
for i in range(len(L)):
if(L[i] == 0):
D0.append(D[i])
elif(L[i] == 1):
D1.append(D[i])
#print(D0, D1)
return D0, D1
def countNumber(data, i, z):
'''统计某个属性出现的次数。'''
number = 0
for item in data:
if(item[i] == z):
number = number + 1
return number
def calculateProbobility(D0, D1, L, Z):
'''对于目标对象，计算其属于各类别的概率大小。'''
# 计算训练样本中不同类别的数量
num_down = L.count(0)
num_up = L.count(1)
# 先验概率（类别分布不均衡会对概率计算造成较大影响，先不考虑）
p0 = num_down/len(L)
p1 = num_up/len(L)
#print(p0, p1)
# 存放各属性对应的概率
p_down = []
p_up = []
# 拉普拉斯平滑
delta = 1 # 取大于 0 的数，一般使用 1
feature_num = 2 # 某特征可以取值个数，此处为二值型特征
for i in range(len(Z)):
p_down.append((countNumber(D0, i, Z[i])+delta)/(len(D0)+ feature_num*delta))
p_up.append((countNumber(D1, i, Z[i])+delta)/(len(D1)+ feature_num*delta))
#print(p_down, p_up)
pc0 = 1
pc1 = 1
for i in range(len(Z)):
pc0 = pc0 * p_down[i]
pc1 = pc1 * p_up[i]
Pc = [pc0, pc1]
#print(pc0,pc1)
return Pc
def selectClass(Pc, Lc):
'''找出对应概率最大的类别，预测目标对象为此类别。'''
max_index = Pc.index(max(Pc))
print('********** NB算法预测结果 **********')
print('预测目标结果为：' + Lc[max_index])
def main():
# 训练集。样本数量6；属性4：交点、前一天涨跌（0跌1涨）、振幅（%）、高低开（0低1高）
D = [[0, 1, 1.33, 1], [7, 1, 0.55, 0], [0, 1, 1.29, 0], [0, 1, 0.75, 0], [0, 0, 0.43, 1], [0, 1, 0.52, 1], [0, 0, 1.13, 0]]
# 训练样本的类别标签集
L = ['涨', '涨', '跌', '跌', '涨', '涨', '跌']
# 测试目标(2018-12-21)
Z = [3, 0, 1.00, 0]
# 预测类别标签
Lc = ['跌', '涨']
if (Z[0] > 0):
Z[0] = 1
if(Z[2] > 0.5):
Z[2] = 1
D, L = dealData(D, L)
D0, D1 = splitData(D, L)
Pc = calculateProbobility(D0, D1, L, Z)
selectClass(Pc, Lc)
if __name__ == '__main__':
main()
网友评论