本文讲使用台湾大学林智仁(Lin Chih-Jen)教授等开发设计开发设计的一个简单、易用的SVM模式识别与回归的软件包，本文将使用svmlib在python下的版本对其使用方法进行总结：
libsvm下载地址：http://www.csie.ntu.edu.tw/~cjlin/libsvm/
通过上一篇博文转载了python下载libsvm的教程，在python32位环境下使用libsvm
libsvm在python版本提供了两个模块，svmutil.py为高层次版本，svm.py为低层次版本
在低层次版本svm.py中，没有对python内置库ctypes类型进行封装，而svmutil.py则提供了简单易用的函数可以直接使用
libsvm使用的步骤为：
1）将数据转化为libsvm工具使用的格式，
<label1> <index1>:<value1> <index2>:<value2> ..... <index L>:<valueL>
<label2> ......................
label可以为int或double类型
2）进行数据变化，常用的数据变化为归一化，同时将training data 和 test data通过放缩在[-1,1]区间
【待定】
3）选择核函数：优先考虑使用RBF核函数
4）用cross-validation（交叉验证）和grid-search得到最优的c和g
方法一：cross-validation（交叉验证）：
m = svm_train(y, x, '-v 2')
如果option参数-v为确切值，则svm_train返回model为一个数值，如果是svm分类则返回交叉验证的准确率，-v 的值要大于等于2，一般选用5.若为svm回归则返回结果与真实值的差异值平均方差
方法二：grid-search：
libsvm提供了几个小工具包，其中包括了tools中的grid.py，能够快速选择最优参数c和g
$ python grid.py svmguide1.scale
2.0 2.0 96.8922
(Best C=2.0, γ=2.0 with five-fold cross-validation rate=96.8922%)
5）使用最优参数C和g去训练training set
6）测试：
在svmutil.py，可使用函数svm_predict获得分类准确率
p_label, p_acc, p_val = svm_predict(y, , m)
#p_labels: a list of predicted labels，预测类别
#p_acc: a tuple including accuracy (for classification), mean squared error, and squared correlation coefficient (forregression)，准确率，误差的均方差，和相关系数平方
#p_val：a list of decision values or probability estimates
下面介绍一下livsvm在python中的具体使用方法：
主要介绍svmutil.py函数使用
>>>from svmutil import *
#读取LIBSVM数据，分别存入y，x列表，其中y为类别，x为训练样本
>>>y, x = svm_read_problem(r'E:\Projects\Python\svmlib\heart_scale')
#使用前200个数据进行训练，svm_train返回的是model类，表示通过训练产生的model
>>>m = svm_train(y[:200], x[:200], '-c 4' )
#使用后70个数据对训练的model m进行检验
>>>p_label, p_acc, p_val = svm_predict(y[200:], x[200:], m)
#能够将训练产生的model保留成为文件
>>> svm_save_model('heart_scale.model', m)
#读取保存的model
>>> m = svm_load_model('heart_scale.model')
>>> p_label, p_acc, p_val = svm_predict(y, x, m, '-b 1')
#得到训练检验结果
>>> ACC, MSE, SCC = evaluations(y, p_label)
svmtuil.py中含有下列主要函数
svm_train() : 训练SVM模型
svm_predict() : 预测测试数据结果
svm_read_problem() : 读取数据.
svm_load_model() : 加载SVM模型
svm_save_model() :保存SVM模型.
evaluations() : 检验预测结果.
还有下列函数
svm_problem(y, x)：返回一个problem类，作用等同于记录y，x列表
svm_parameter('training_options'):返回一个parameter类，作用是记录参数选择
下面介绍下使用过程中涉及到的一些参数函数：
Options：可用的选项即表示的涵义如下
-s svm类型：SVM设置类型(默认0)
0 -- C-SVC
1 -- v-SVC
2–一类SVM
3 -- e -SVR
4 -- v-SVR
-t 核函数类型：核函数设置类型(默认2)
0–线性：u'v
1–多项式：(r*u'v + coef0)^degree
2–RBF函数：exp(-gamma|u-v|^2)
3–sigmoid：tanh(r*u'v + coef0)
-d degree：核函数中的degree设置(针对多项式核函数)(默认3)
-g r(gama)：核函数中的gamma函数设置(针对多项式/rbf/sigmoid核函数)(默认1/ k)
-r coef0：核函数中的coef0设置(针对多项式/sigmoid核函数)((默认0)
-c cost：设置C-SVC，e -SVR和v-SVR的参数(损失函数)(默认1)
-n nu：设置v-SVC，一类SVM和v- SVR的参数(默认0.5)
-p p：设置e -SVR中损失函数p的值(默认0.1)
-m cachesize：设置cache内存大小，以MB为单位(默认40)
-e eps：设置允许的终止判据(默认0.001)
-h shrinking：是否使用启发式，0或1(默认1)
-wi weight：设置第几类的参数C为weight*C(C-SVC中的C)(默认1)
-v n: n-fold交互检验模式，n为fold的个数，必须大于等于2
其中-g选项中的k是指输入数据中的属性数。option -v随机地将数据剖分为n部
1）如果你要输出类的概率，一定要有-b参数
2）C一般可以选择为：10^t , t=- 4..4就是0.0001到10000
选择的越大，表示对错误例惩罚程度越大，可能会导致模型过拟合
在LIBSVM中-t用来指定核函数类型（默认值是2）。
3）与核函数相对应的libsvm参数：
（1）对于线性核函数，没有专门需要设置的参数
（2））对于多项式核函数，有三个参数。-d用来设置多项式核函数的最高此项次数，也就是公式中的d，默认值是3。-g用来设置核函数中的gamma参数设置，也就是公式中的第一个r(gamma)，默认值是1/k（k是类别数）。-r用来设置核函数中的coef0，也就是公式中的第二个r，默认值是0。
（3）对于RBF核函数，有一个参数。-g用来设置核函数中的gamma参数设置，也就是公式中的第一个r(gamma)，默认值是1/k（k是类别数）。
（4）对于sigmoid核函数，有两个参数。-g用来设置核函数中的gamma参数设置，也就是公式中的第一个r(gamma)，默认值是1/k（k是类别数）。-r用来设置核函数中的coef0，也就是公式中的第二个r，默认值是0。
运行结果中显示的几个参数含义为：
rho 为判决函数的常数项b#iter为迭代次数，nu 与前面的操作参数-n n 相同，obj为SVM文件转换为的二次规划求解得到的最小值，nSV 为支持向量个数，nBSV为边界上的支持向量个数，Total nSV为支持向量总个数。
下面介绍下LIBSVM提供的几个工具包
svm-scale:
这是能够放缩输入数据的工具
grid.py：
放缩后的数据进行最优参数选择
subset.py
自动选择子集减少训练量
checkdata.py
检查是否符合LIBSVM格式
网友评论