一、模型测试的API总结
1、分类算法评估方式
分类算法评估方式
2、回归算法评估方式
回归算法评估方式
二、分类模型测试
交叉验证：(Cross Validation)
将数据分为训练集和测试集，训练集构建模型，测试集评估模型，提供修改意见。
模型选择：个人建议先尽可能多的选择算法进行执行，比较执行结果。然后在最优的模型基础上进行参数调整。
分类模型的测试 一般会从以下几个方面进行比较：准确率、召回率、精准率、F值。
牢记下面的计算公式。
1、准确率 (Accuracy)
Accuracy = 提取出的正确样本数 / 总样本数。
提取出的正确样本数 = 预测正确的正例+负例。
准确率在样本值不均衡的时候，会出现无法衡量模型好坏的情况。
可以先对于正例计算当前样本下的准确率，同样也对负例计算当前样本下的准确率。再计算准确率的均值。这样可以相对比较好得衡量模型的好坏。
2、召回率 (Recall)
Recall = 正确的正例样本数 / 样本中的正例样本数 (覆盖率)
3、精准率 (Precision)
Precision = 正确的正例样本数 / 预测为正例的样本数
4、F值
Precision * Recall * 2 / (Precision+Recall) 即正确率和召回率的调和平均值。
事实上一个模型很难保证精准率和召回率同时都很高。
比如：模型1(召回=85%，精准=89%)；模型2(召回=87%，精准=83%)；
此时可以计算F值来作为最后的衡量标准。如果最后F值都相同，个人建议使用准确率高的模型。Sklearn中，默认的模型评价指标就是准确率。
混淆矩阵
混淆矩阵
A和D预测正确，B和C预测错误，测试计算结果为：
准确率 = #(A)+#(D) / #(A) + #(B) + #(C) + #(D)
召回率 = #(A) / #(A) + #(B) 样本中的正例样本数
精准率 = #(A) / #(A) + #(C) 所有预测为正例的
F值 = 2 * 召回率 * 精准率 / (精准率 + 召回率)
参考：https://en.wikipedia.org/wiki/Precision_and_recall
完整的混淆矩阵
真正率(TPR) 和 假正率(FPR)怎么计算？
True Positive （真正例, TP）被模型预测为正的正样本；√
True Negative（真负例 , TN）被模型预测为负的负样本 ；√
False Positive （假正例, FP）被模型预测为正的负样本；×
False Negative（假负例 , FN）被模型预测为负的正样本；×
True Positive Rate（真正率 , TPR）或灵敏度（sensitivity）
TPR = TP /（TP + FN）
正样本预测结果数 / 正样本实际数
False Positive Rate （假正率, FPR）
FPR = FP /（FP + TN）
被预测为正的负样本结果数 /负样本实际数
ROC(Receiver Operating Characteristic)曲线
ROC描述的是分类混淆矩阵中FPR-TPR两个量之间的相对变化情况。
纵轴 TPR：真正率；↑
横轴 FPR：假正率； →
如果二元分类器输出的是对正样本的一个分类概率值，当取不同阈值时会得到不同的混淆矩阵，对应于ROC曲线上的一个点。那么ROC曲线就反映了FPR与TPR之间权衡的情况，通俗地来说，即在TPR随着FPR递增的情况下，谁增长得更快，快多少的问题。TPR增长得越快，曲线越往上屈，AUC就越大，反映了模型的分类性能就越好。当正负样本不平衡时，这种模型评价方式比起一般的精确度评价方式的好处尤其显著。
ROC曲线
比如，预测一个二分类的概率问题。假设A出现的概率是p，A不出现的概率是1-p，根据调整p的值对样本进行预测。
第一次：p取0.1，根据计算获得对应的FPR、TPR的值。
...
第N次：p取值0.9，根据计算获得对应的FPR、TPR值。
p值的改变就是调参的过程，最后将所有的点连成一条曲线，以曲线、x=1、y=0连成的图形面积标记称为：AUC(Area Under Curvve)。
AUC的定义： ROC曲线下的面积，显然这个面积的数值不会大于1。ROC曲线一般都会处于 y=x 这条直线的上方，如果ROC位于 y=x 的直线下方，意味着模型的预测还不如随机预测的准确率高，那么将曲线的计算结果反向预测，就能得到一条以 y=x 为对称轴的对称曲线，显然若之前的预测成功率低于50%，那么对称的曲线必然高于50%。于是我们可以保证，AUC的取值范围在0.5和1之间。
AUC的值越大，说明模越好。
AUC = 1：完美分类器，用这个模型的时候，不管设置什么阈值(p的值不论怎么改变) 都能做出完美预测，即最初我们提到的造物主公式。一般情况下不可能获得这种分类器。
0.5< AUC <1：比随机猜测优秀，妥善设置阈值能够有预测的价值。
AUC = 0.5：和随机猜测没有区别，模型没有预测价值。
AUC < 0.5：比随机猜测还差，但只要进行反向预测，即可高于随机猜测。
三、回归模型测试
回归结果度量
explained_varicance_score：可解释方差的回归评分函数。R2
mean_absolute_error：平均绝对误差。 MAE
mean_squared_error：平均平方误差。 MSE
在度量过程中，不管模型有多差，不能改变目标值Y。
1、我们计算不同参数下，同一个模型的度量。这样可以帮助我们寻找到最优的参数。
2、对不同模型随便设置一个参数，然后选一个最优模型。
回归评估指标
回归预测：对离散数据的预测，我们希望模型结果对预测范围的误差尽可能的小，比如一些连续型的数据（身高、体重）几乎不可能百分百得预测准确，因此误差越尽可能的小就是一个优秀的模型。
R2 ：可解释方差的回归评分函数 (explain_varicance_score)
R2 = 1 - ( ∑ ( 预测值 - 真实值 ) 2 / ∑ (真实值 - 平均值) 2 )
设有m个样本：
分子：1/m * ∑ ( 预测值 - 真实值 ) 2 = 平均平方误差
分母：1/m * ∑(真实值 - 平均值)2 = 方差（平均绝对误差 ）
如果是完美预测无误差，预测值 - 真实值= 0，即：平均平方误差=0
∴ R 的最大值 = 1-0 =1
如果很多预测值不准，则平均平方误差值会变得无穷大，而方差是一个固定值，无穷大除以固定值还是无穷大。
∴ R的取值范围是 (-∞，1)，R越接近1，说明预测结果越好。
模型效果判断
总结
思考：回归模型的评估能不能使用ROC？为什么？提示：混淆矩阵。
网友评论