首先要了解SVM（Support Vector Machine ）
模型定义在特征空间之上建个最大的线性分类器。它是一个二类分类模型，当采用了核技巧支持非线性分类
（1）线性可分支持向量机「简单理解就是找到一个分离超平面，判断预测可靠度：距离越远越可靠」
（2）线性支持向量机「求解凸二次规划问题」
（3）支持向量回归
优点：在非线性方法，在样本比较少的时候，容易抓住数据的特征和特征之间的非线性关系（相对于线性分类方法logistic regresson）可以解决非线性问题，可以避免神经网络结构选择和局部极小点问题，可以提高泛华性能，可以解决高维问题
所有活动带标签 数据类型
import org.apache.log4j.{ Level, Logger }
import org.apache.spark.{ SparkConf, SparkContext }
import org.apache.spark.mllib.classification.SVMWithSGD
import org.apache.spark.mllib.util.MLUtils
val data = sc.textFile("./test/campain.csv",1)
val parsedData =data.filter(a=>{
var t =a.split(",")
t(2) !="null"
}).map(a=>{
var t =a.split(",")
var flag01= t(4).toInt
var flag02=t(5).toInt
var flag03=t(6).toInt
var tran2=0
var tran3=0
if(flag01>0 && flag02>0){
tran2=flag02*100/flag01
tran3=flag03*100/flag02
}
if(flag01>4000 && tran2>40 && tran3>50){
0+" " +1+":"+t(0)+" "+2+":"+t(1)+" "+3+":"+t(2)+" "+4+":"+t(3)+" "+5+":"+t(4)+" "+6+":"+t(5)+" "+7+":"+t(6)+" "+8+":"+t(7)
}else{
1+" " +1+":"+t(0)+" "+2+":"+t(1)+" "+3+":"+t(2)+" "+4+":"+t(3)+" "+5+":"+t(4)+" "+6+":"+t(5)+" "+7+":"+t(6)+" "+8+":"+t(7)
}
})
parsedData.repartition(1).saveAsTextFile("./test/campain")
val dataRDD = MLUtils.loadLibSVMFile(sc, "./test/campain/*")
// 样本数据划分,训练样本占0.8,测试样本占0.2
val dataParts =dataRDD.randomSplit(Array(0.8, 0.2))
val trainRDD =dataParts(0)
val testRDD =dataParts(1)
// 建立模型并训练
val numIterations =1000
val model = SVMWithSGD.train(trainRDD, numIterations)
// 对测试样本进行测试
val predictionAndLabel =trainRDD.map { point =>
val score =model.predict(point.features)
(score, point.label, point.features)
}
val showPredict =predictionAndLabel.take(250)
println("Prediction" +"\t" +"Label" +"\t" +"Data")
for (i <-0 toshowPredict.length -1) {
println(showPredict(i)._1 +"\t" +showPredict(i)._2 +"\t" +showPredict(i)._3)
}
// 误差计算
val accuracy =1.0 *predictionAndLabel.filter(x => x._1 == x._2).count() /trainRDD.count()
println("Accuracy = " +accuracy)
结果：预测成功率能达到98% 样本的类型的少，和分类清晰
网友评论