对于不同的算法，会有一些独有的参数需要调优，例如k-nearest neighbor中k值的选择就需要进行一定的考量。由于有时候这些参数会决定计算的复杂性，所以选择这些参数就变的尤为重要。
选择参数的方式有很多，其中的百试不爽的一种是，建立一组候选值，基于这些值进行预测，然后比较结果，选择最优结果的那个参数。
Data splitting 数据分组
模型建立的步骤主要有
1.预处理自变量 2.评估模型参数 3.选择自变量4.评估模型效果 5.微调预测规则
数据分组的方法有随机抽样，差异性抽样等
Resampling techniques
通常重新采样评估模型效果的方式很类似，选择样本的一个子集来拟合模型，然后用剩余的数据来验证模型的效果。
k-Fold Cross-Validation
样本随机被分为k个大小相等的子集。第一步,将第一个子集作为测试集，其他数据作为训练集，计算模型的性能。第二步，用第二子集作为测试机，用剩余数据作为训练集得到模型，依次执行k次直到每个子集做过测试集，将测试性能的结果进行平均。随着k值的增加其预测错误会降低。缺点是计算的次数较多。通常会选择5或者10。
k=3 k-fold cv例子
Leave-one-out cross-validation（LOOCV）
将n个数据中n-1数据作为训练集，剩余1个数据作为测试集，循环n次
Repeated Training/Test Splits （Monte Carlo cv）
将数据随机分为训练集和测试集，重复多次，重复的次数通常在25次左右，如果想得到更好的结果，需要重复（50-200）次
The BootStrap
有放回的从原有数据集中选取训练集，训练集和原数据大小一样，没被选到的数据集作为测试集。平均来看63.2%的被选中至少一次，类似于当k约等于2时的k-fold cross-validation，bias情况随着训练集扩大而降低。
bootstrap图例 数据量n=12
数据量较小，推荐repeated 10-fold cross-validation
----------------------------------------------------------
在R的使用中sample可以用来对数据进行简单地随机分组，caret包中的createDataPartition可以对数据进行分层随机分组。例子
>trainingRows<-createDataPartition(classes,p=.80,list=FALSE)
Resampling中可以继续使用createDataPartition，增加times参数创建多重分组
>set.seed(1)
>repeatedSplits<-createDataPartition(trainClasses,p=.80,times=3)
同时，caret包中的createResamples（for bootstrapping），createFolds(for k-fold cross-validation)和createMultiFolds(for repeated CV)，举例创建10-fold cross-validation
>set.seed(1)
>cvSplits<- creatFolds(trainClasses,k=10,returnTrain=TRUE)
caret包中的train能够构建不同的重采样方法，性能评测和算法评估等，也可以用于并行计算。举例，优化SVM模型
>set.seed(1056)
>svmFit<-train(Class~., data=GermanCreditTrain, method="svmRadial",
preProc=c("center","scale"),
tuneLength=10
trControl=trainControl(method="repeatedcv",repeats=5) )
网友评论