复习 - 模型测试

一、模型测试的API总结

1、分类算法评估方式

分类算法评估方式

2、回归算法评估方式

回归算法评估方式

二、分类模型测试

交叉验证：(Cross Validation)
将数据分为训练集和测试集，训练集构建模型，测试集评估模型，提供修改意见。

模型选择：个人建议先尽可能多的选择算法进行执行，比较执行结果。然后在最优的模型基础上进行参数调整。

---

分类模型的测试 一般会从以下几个方面进行比较：准确率、召回率、精准率、F值。

牢记下面的计算公式。

1、准确率 (Accuracy)
Accuracy = 提取出的正确样本数 / 总样本数。
提取出的正确样本数 = 预测正确的正例+负例。

准确率在样本值不均衡的时候，会出现无法衡量模型好坏的情况。
可以先对于正例计算当前样本下的准确率，同样也对负例计算当前样本下的准确率。再计算准确率的均值。这样可以相对比较好得衡量模型的好坏。

2、召回率 (Recall)
Recall = 正确的正例样本数 / 样本中的正例样本数 (覆盖率)

3、精准率 (Precision)
Precision = 正确的正例样本数 / 预测为正例的样本数

4、F值
Precision * Recall * 2 / (Precision+Recall) 即正确率和召回率的调和平均值。

事实上一个模型很难保证精准率和召回率同时都很高。

比如：模型1(召回=85%，精准=89%)；模型2(召回=87%，精准=83%)；
此时可以计算F值来作为最后的衡量标准。如果最后F值都相同，个人建议使用准确率高的模型。Sklearn中，默认的模型评价指标就是准确率。

---

混淆矩阵

混淆矩阵

A和D预测正确，B和C预测错误，测试计算结果为：
准确率 = ^#(A)+#(D) / _{#(A) + #(B) + #(C) + #(D)}
召回率 = ^#(A) / _{#(A) + #(B)} 样本中的正例样本数
精准率 = ^#(A) / _{#(A) + #(C)} 所有预测为正例的
F值 = 2 * 召回率 * 精准率 / (精准率 + 召回率)

---

参考：https://en.wikipedia.org/wiki/Precision_and_recall

完整的混淆矩阵

真正率(TPR) 和 假正率(FPR)怎么计算？
True Positive （真正例, TP）被模型预测为正的正样本；√
True Negative（真负例 , TN）被模型预测为负的负样本 ；√
False Positive （假正例, FP）被模型预测为正的负样本；×
False Negative（假负例 , FN）被模型预测为负的正样本；×

True Positive Rate（真正率 , TPR）或灵敏度（sensitivity）
TPR = TP /（TP + FN）
正样本预测结果数 / 正样本实际数

False Positive Rate （假正率, FPR）
FPR = FP /（FP + TN）
被预测为正的负样本结果数 /负样本实际数

---

ROC(Receiver Operating Characteristic)曲线

ROC描述的是分类混淆矩阵中FPR-TPR两个量之间的相对变化情况。

纵轴 TPR：真正率；↑
横轴 FPR：假正率； →

如果二元分类器输出的是对正样本的一个分类概率值，当取不同阈值时会得到不同的混淆矩阵，对应于ROC曲线上的一个点。那么ROC曲线就反映了FPR与TPR之间权衡的情况，通俗地来说，即在TPR随着FPR递增的情况下，谁增长得更快，快多少的问题。TPR增长得越快，曲线越往上屈，AUC就越大，反映了模型的分类性能就越好。当正负样本不平衡时，这种模型评价方式比起一般的精确度评价方式的好处尤其显著。

ROC曲线

比如，预测一个二分类的概率问题。假设A出现的概率是p，A不出现的概率是1-p，根据调整p的值对样本进行预测。
第一次：p取0.1，根据计算获得对应的FPR、TPR的值。
...
第N次：p取值0.9，根据计算获得对应的FPR、TPR值。

p值的改变就是调参的过程，最后将所有的点连成一条曲线，以曲线、x=1、y=0连成的图形面积标记称为：AUC(Area Under Curvve)。

---

AUC的定义： ROC曲线下的面积，显然这个面积的数值不会大于1。ROC曲线一般都会处于 y=x 这条直线的上方，如果ROC位于 y=x 的直线下方，意味着模型的预测还不如随机预测的准确率高，那么将曲线的计算结果反向预测，就能得到一条以 y=x 为对称轴的对称曲线，显然若之前的预测成功率低于50%，那么对称的曲线必然高于50%。于是我们可以保证，AUC的取值范围在0.5和1之间。

AUC的值越大，说明模越好。
AUC = 1：完美分类器，用这个模型的时候，不管设置什么阈值(p的值不论怎么改变) 都能做出完美预测，即最初我们提到的造物主公式。一般情况下不可能获得这种分类器。
0.5< AUC <1：比随机猜测优秀，妥善设置阈值能够有预测的价值。
AUC = 0.5：和随机猜测没有区别，模型没有预测价值。
AUC < 0.5：比随机猜测还差，但只要进行反向预测，即可高于随机猜测。

---

三、回归模型测试

回归结果度量
explained_varicance_score：可解释方差的回归评分函数。R²
mean_absolute_error：平均绝对误差。 MAE
mean_squared_error：平均平方误差。 MSE

在度量过程中，不管模型有多差，不能改变目标值Y。
1、我们计算不同参数下，同一个模型的度量。这样可以帮助我们寻找到最优的参数。
2、对不同模型随便设置一个参数，然后选一个最优模型。

---

回归评估指标
回归预测：对离散数据的预测，我们希望模型结果对预测范围的误差尽可能的小，比如一些连续型的数据（身高、体重）几乎不可能百分百得预测准确，因此误差越尽可能的小就是一个优秀的模型。

R² ：可解释方差的回归评分函数 (explain_varicance_score)
R² = 1 - ( ^{∑ ( 预测值 - 真实值 ) 2} / _{∑ (真实值 - 平均值) ²} )

设有m个样本：
分子：1/m * ∑ ( 预测值 - 真实值 ) ² = 平均平方误差
分母：1/m * ∑(真实值 - 平均值)² = 方差（平均绝对误差 ）

如果是完美预测无误差，预测值 - 真实值= 0，即：平均平方误差=0
∴ R 的最大值 = 1-0 =1

如果很多预测值不准，则平均平方误差值会变得无穷大，而方差是一个固定值，无穷大除以固定值还是无穷大。
∴ R的取值范围是 (-∞，1)，R越接近1，说明预测结果越好。

模型效果判断 总结

思考：回归模型的评估能不能使用ROC？为什么？提示：混淆矩阵。