贝叶斯定理
先验概率：p(A)
后验概率：p(A|B)是已知B发生后A的条件概率，
标准化常量：p（B）是B的先验概率或边缘概率
在生活中我们很容易求出P（A|B），p（B|A）则很难直接得出，贝叶斯可以帮助我们求出p(B|A)
贝叶斯定理：P（B|A）=P(A|B)P(B)/P(A)
朴素贝叶斯分类
思想基础：对于每一个待分类项，求出在此项类别的基础下，各个类别出现的概率，那个最大。就认为此待分类项属于哪个类别。
朴素贝叶斯分类的正式定义如下。
（1）设x={a1,a2,....an}为一个待分类项。而每个a为x的一个特征属性
（2）有类别集合C={y1,y2,...,yn}，计算各类别的先验概率。并取对数。
计算公式：p（i）=log（p(yi)）
=log(（i类别的次数 + 平滑因子）/（总次数 + 类别数*平滑因子）)
（3）在各类别下各个特征属性的条件概率估计，并取对数：
theta（i）（j）=log（p（aj/yi））=log（sumTermFreqs（j）+平滑因子）-thetaLogDenom
theta（i）（j）是i类别下j特征的概率，sumTermFreqs（j）是特征j出现的次数，thetaLogDenom分为如下两种模式：
①多项式模式：
thetaLogDenom=log（sumTermFreqs.values.sum + numFeatures*lambda）
对于文本分类，sumTermFreqs.values.sum解释为类i下的单词总数，numFeatures是特征数量，lambda是平滑因子。
②伯努利模型
thetaLogDenom =log(n+2.0*lambda)
对于文本分类，n解释为类i下的文章总数，lambda是平滑因子
（4）计算P(yi|x),.......P(yn|x)
各个特征属性是条件独立的，根据贝叶斯店里有如下推到：
p（yi|x）=p（x|yi）p（yi）/p（x）
因为p（x）对于所有类别为常数，所以我们只要将分子最大化即可。又因为各特征属性是条件独立的。所以有：p（x|yi）p(yi)=p(a1|yi)..p(am)(y1)p(yi)然后取log
（5）如果p(yi|x)=max{p(y1|x),p(y2|X),.....p(yn|x)},
代码如下：
importorg.apache.log4j.{Level, Logger}
importorg.apache.spark.mllib.classification.NaiveBayes
importorg.apache.spark.mllib.linalg.Vectors
importorg.apache.spark.mllib.regression.LabeledPoint
importorg.apache.spark.{SparkConf, SparkContext}
/**
* Created by 87109 on 2017/9/30.
*/
objecttmp_native_bayes {
defmain(args: Array[String]): Unit = {
valconf =newSparkConf().setAppName("bayes").setMaster("local")
valsc =newSparkContext(conf)
Logger.getRootLogger.setLevel(Level.WARN)
//读取样本数据
valdata = sc.textFile("bayes.txt")
valparsedData = data.map{line =>
valparts =line.split(",")
LabeledPoint(parts(0).toDouble,Vectors.dense(parts(1).split(" ").map(_.toDouble)))
}
//将样本划分训练样本和测试样本
valsplits = parsedData.randomSplit(Array(0.6,0.4),seed =11L)
valtraining = splits(0)
valtest = splits(1)
//新建贝叶斯模型，并训练
valmodel = NaiveBayes.train(training,lambda =1.0,modelType ="multinomial")
//对测试样本进行测试
valpredictionAndLabel = test.map(p => (model.predict(p.features),p.label))
valprint_predict=predictionAndLabel.take(20)
println("prediction"+"\t"+"label")
for(i<-0to print_predict.length-1){println(print_predict(i)._1+"\t"+ print_predict(i)._2)}
valaccuracy =1.0*predictionAndLabel.filter(x => x._1 == x._2).count()
}
}
网友评论