2.13 模型评估常用指标有哪些？
一般情况来说，单一评分标准无法完全评估一个机器学习模型。只用good和bad偏离真实场景去评估某个模型，都是一种欠妥的评估方式。下面介绍常用的分类模型和回归模型评估方法。
分类模型常用评估方法：
| 指标 | 描述 |
|---|---|
| Accuracy | 准确率 |
| Precision | 精准度/查准率 |
| Recall | 召回率/查全率 |
| P-R曲线 | 查准率为纵轴，查全率为横轴，作图 |
| F1 | F1值 |
| Confusion Matrix | 混淆矩阵 |
| ROC | ROC曲线 |
| AUC | ROC曲线下的面积 |
回归模型常用评估方法：
| 指标 | 描述 |
|---|---|
| Mean Square Error (MSE, RMSE) | 平均方差 |
| Absolute Error (MAE, RAE) | 绝对误差 |
| R-Squared | R平方值 |
这里详细解释下误差、噪声、偏差和方差
在机器学习中，Bias(偏差)，Noise(噪声)，Error(误差)，和Variance(方差)存在以下区别和联系：
**对于误差Error **：
- 误差（error）：把学习器的实际预测输出与样本的真实输出之间的差异称为“误差”。
- Error = Bias + Variance + Noise，Error反映的是整个模型的准确度。
对于噪声Noise:
- 噪声：描述了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
对于偏差Bias：
- 偏差：衡量模型拟合训练数据的能力（训练数据不一定是整个 training dataset，而是只用于训练它的那一部分数据，例如：mini-batch），Bias反映的是模型在样本上的输出与真实值之间的误差，即模型本身的精准度。（可用于指导模型训练）
- Bias 越小，拟合能力越高（可能产生过拟合）；反之，拟合能力越低（可能产生欠拟合）。
- 偏差越大，越偏离真实数据，如图1第二行所示。
对于方差Variance：
- 方差公式：
- 方差：是预测值的变化范围，离散程度，也就是离其期望值的距离。
方差越大，数据的分布越分散，模型的稳定程度越差。 - 方差反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。
- 方差越小，模型的泛化的能力越高；反之，模型的泛化的能力越低。
- 如果模型在训练集上拟合效果比较优秀，但是在测试集上拟合效果比较差劣，则方差较大，说明模型的稳定程度较差，出现这种现象可能是由于模型对训练集过拟合造成的。 如图1右列所示。
图1 方差和偏差
最后简要介绍下经验误差与泛化误差：
- 经验误差（empirical error）：也叫训练误差（training error），模型在训练集上的误差。
- 泛化误差（generalization error）：模型在新样本集（测试集）上的误差称为“泛化误差”。
网友评论