交叉验证 Cross validation

你闷声的日子，后面就是你爆发的日子。

前面讲过加入正则项的目标函数，那么如何求出超参数呢？
如何选择合适的超参数呢？

image.png

一般是通过交叉验证cross validation（CV）去选择合适的超参数。

把训练数据进一步分成训练数据和验证集数据，选择在验证数据里最好的组合。

1、首先确定训练集分成几份，比如五份，则叫做5-fold cross validation
2、根据给出的lamda的值在训练数据里计算模型，如何用验证数据计算准确性
3、如此循环计算完所有的准确性，如何求平均
4、找出准确性最大的lamda值，作为模型的lamda值。

image.png

有一点要记住：

绝对不能用测试数据来引导模型的训练，这样子叫做偷卷行为，会非常影响模型效果。
下面来看看交叉验证的代码实现

比如说进行一个情感分析实战，比较简单一点的，就只是使用tf-idf实现，因为这里关注的是交叉验证。

import pandas as pd
import numpy as np
# Reading the Dataset (ISEAR Dataset)
data = pd.read_csv('ISEAR.csv',header=None)
data.head()
out:
0   1   2
0   joy On days when I feel close to my partner and ot...   NaN
1   fear    Every time I imagine that someone I love or I ...   NaN
2   anger   When I had been obviously unjustly treated and...   NaN
3   sadness When I think about the short time that we live...   NaN
4   disgust At a gathering I found myself involuntarily si...   NaN

#进行分出训练集和测试集，用的是sklearn的方法
from sklearn.model_selection import train_test_split
labels = data[0].values.tolist()
sents = data[1].values.tolist()
X_train, X_test, y_train, y_test = train_test_split(sents, labels, test_size=0.2, random_state=42)

#计算tf-idf向量
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer()
X_train = vectorizer.fit_transform(X_train)
X_test = vectorizer.transform(X_test)

使用逻辑回归建模

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV

#设置lamda的参数选择
parameters = {'C':[0.00001, 0.0001, 0.001, 0.005,0.01,0.05, 0.1, 0.5,1,2,5,10]}
#逻辑回归默认的是L2正则，不填就是说明是L2正则
lr = LogisticRegression()
lr.fit(X_train, y_train).score(X_test, y_test)
#cv=10，计算10 fold，十份
clf = GridSearchCV(lr, parameters, cv=10)
clf.fit(X_train, y_train)
#获取准确率，也就是分数，有没有都不影响参数获取
clf.score(X_test, y_test)
print (clf.best_params_)

#打印出混淆矩阵，看看预测的效果
from sklearn.metrics import confusion_matrix
confusion_matrix(y_test, clf.predict(X_test))
out:
array([[ 98,  33,  19,  26,  14,  20,  17],
       [ 25, 124,  13,  16,   9,   3,  14],
       [ 14,   7, 141,   9,  13,  11,   5],
       [ 23,  12,  12, 107,  13,  16,  26],
       [  6,   7,  10,   8, 182,  11,   9],
       [ 17,  18,  15,   8,  18, 122,   7],
       [ 22,  27,  17,  35,  22,   6,  97]], dtype=int64)

下面给出网格搜索cv的参数
GridSearchCV(estimator, param_grid, scoring=None, fit_params=None, n_jobs=1, iid=True, refit=True, cv=None, verbose=0, pre_dispatch='2*n_jobs', error_score='raise', return_train_score=True)

Parameters：

estimator：所使用的分类器，或者pipeline
　　param_grid：值为字典或者列表，即需要最优化的参数的取值
　　scoring：准确度评价标准，默认None,这时需要使用score函数；或者如scoring='roc_auc'，根据所选模型不同，评价准则不同。字符串（函数名），或是可调用对象，需要其函数签名形如：scorer(estimator, X, y)；如果是None，则使用estimator的误差估计函数。
　　n_jobs：并行数，int：个数,-1：跟CPU核数一致, 1:默认值。

pre_dispatch：指定总共分发的并行任务数。当n_jobs大于1时，数据将在每个运行点进行复制，这可能导致OOM，而设置pre_dispatch参数，则可以预先划分总共的job数量，使数据最多被复制pre_dispatch次
　　iid：默认True,为True时，默认为各个样本fold概率分布一致，误差估计为所有样本之和，而非各个fold的平均。
　　cv：交叉验证参数，默认None，使用三折交叉验证。指定fold数量，默认为3，也可以是yield训练/测试数据的生成器。
　　refit：默认为True,程序将会以交叉验证训练集得到的最佳参数，重新对所有可用的训练集与开发集进行，作为最终用于性能评估的最佳模型参数。即在搜索参数结束后，用最佳参数结果再次fit一遍全部数据集。
　　verbose：日志冗长度，int：冗长度，0：不输出训练过程，1：偶尔输出，>1：对每个子模型都输出。
Attributes：
　　best_estimator_：效果最好的分类器
　　best_score_：成员提供优化过程期间观察到的最好的评分
　　best_params_：描述了已取得最佳结果的参数的组合
　　best_index_：对应于最佳候选参数设置的索引(cv_results_数组的索引)。
Methods：
　　decision_function:使用找到的参数最好的分类器调用decision_function。
　　fit(X, y=None, groups=None, **fit_params):训练
　　get_params(deep=True):获取这个估计器的参数。
　　predict(X):用找到的最佳参数调用预估器。(直接预测每个样本属于哪一个类别)
　　predict_log_proda(X):用找到的最佳参数调用预估器。（得到每个测试集样本在每一个类别的得分取log情况）
　　predict_proba(X):用找到的最佳参数调用预估器。（得到每个测试集样本在每一个类别的得分情况）
　　score(X, y=None)：返回给定数据上的得分，如果预估器已经选出最优的分类器。
　　transform(X):调用最优分类器进行对X的转换。