模型评估指标是指将训练后的模型用于验证集或者测试集，计算预测结果与真实值的接近程度；对于前者（验证集），模型指标计算通常与所谓的损失函数类似，用于调整、优化模型参数。
1、回归模型regress
（1）均方误差 Mean squared error
-
预测值与对应真实值的差的平方，再取平均值。该值越小，表明预测效果越好。
- 均方根误差Root mean squared error：即均方误差的平方根；相比均方误差，更具有可解释性(单位统一)。
类似的：MAE(Mean absolute error)平均绝对误差表示预测值与对应真实值差绝对值的和
（2）决定系数 coefficient of determination, R2
- 取值范围位于0~1之间，越接近1，表示模型对数据点的解释能力越强；
- 对于简单线性回归而言，决定系数为样本相关系数的平方。
均方误差与决定系数都评价回归模型的常用指标。但均方误差会随着目标变量的方差变化而变化，而R2的取值范围都在0~1之间，可作为一般的指标使用。
2、分类问题classification
-
对于分类问题，尤其是二分类问题，混淆矩阵(confusion matrix）是可视化预测值与真实值的有效方法。
不过TP、FP、FN、TN这四个类别也挺容易混淆的；
前一个字母代表预测正确与否（T：TRUE， F：FALSE）
后一个字母代表预测结果（P：Positive， N：Negative）
（1）正确率 accuracy
- 预测正确的结果占总预测结果的比例；
- (TP+TN) / (TP+TN+FP+FN)
（2）精确率 precision
- 在所有预测为阳性的结果里，预测正确的比例；
- TP / (TP + FP)
（3）召回率 recall
- 在实际为阳性的数据中，预测正确的比例；
- TP / (TP + FN)
灵敏度Sensitivity 与 召回率是同一个指标。
（4）特异度 specifity
- 在实际为阴性的数据中，预测正确的比例；
- TN / (FP + TN)
（4） F值
- 综合反映了精确率和召回率两个趋势的指标；
因为精确率与召回率是此消彼长的关系，如果试图让其中一个的值更高，那么会导致拎一个的值更低；如果这两个指标同等重要，可以观察F值； -
计算方法如下：
（5）ROC曲线与AUC
- 当二分类的样本在数据集中的比例相差很大时，可以使用AUC指标反映模型对于此类数据的评估效果。
- ROC曲线是横轴假阳性率（FP占比），纵轴为真阳性率（TP的占比）的图形。
因为对于二分类问题(0/1)的模型预测结果往往是属于类别的概率，可以通过设定判定阈值，进行类别分类，因而会产生不同混淆矩阵结果。 -
AUC(Area Under the Curve)就是指ROC曲线下的面积，取值范围一般在0.5~1之间；越接近1，表明预测精度越高。
网友评论