美文网首页百面机器学习
模型评估——评估指标的局限性

模型评估——评估指标的局限性

作者: 乔大叶_803e | 来源:发表于2019-12-24 16:14 被阅读0次

在模型评估过程中,往往对于不同的模型,需要不同的指标进行评估,在众多评估指标中,大部分指标只能反映模型的部分性能,如果不能合理的利用指标进行评估,往往达不到好的效果,甚至还能起到副作用。

1 准确率(Accuracy) : 分类正确的样本占总样本个数的比例。

当不同的类别的样本比例非常不均衡时,将准确率作为分类性能的指标非常的局限,可以使用更加有效的平均准确率

2 精确率(Precision):分类正确的正样本个数占分类器判定为正样本个数的比例。

3 召回率(Recall): 分类正确的正样本个数占真正的正样本个数的比例。

4 Precision 和 Recall 是即矛盾又统一的两个指标。通常要绘制P-R曲线,单个点对应的精确率和召回率并不能全面的衡量模型的性能,画曲线能对模型进行更为全面的评估

5 F1值和ROC曲线也能综合反映一个排序模型性能。ROC曲线后面一节再说,F1值是精确率和召回率的调和均值。

F1 = \frac{2 \times precision \times recall}{precision + recall}

6 均方根误差,通常用来衡量回归模型的好坏,但是如果存在个别偏离程度大的离群点,即使离群点非常少,也会让rmse 指标变得很差。

相关文章

  • 模型评估——评估指标的局限性

    在模型评估过程中,往往对于不同的模型,需要不同的指标进行评估,在众多评估指标中,大部分指标只能反映模型的部分性能,...

  • 模型评估指标

    评估指标用于反映模型效果。在预测问题中,要评估模型的效果,就需要将模型预测结果f(X)和真实标注Y进行比较,评估指...

  • 模型性能评估

    目录 1、模型评估指标 2、总结 1、模型评估指标 2、总结:本文以思维导图的方式罗列了二分类中模型评估中常用的指...

  • 评估指标的局限性

    准确率(Accuracy)的局限性 但是此指标存在缺陷:当正负样本非常不均衡时,eg:当负样本占99%时,如果分类...

  • 二、模型评估

    模型评估主要分为离线评估和在线评估两个阶段。 1、准确率的局限性 当不同类别的样本比例非常不均衡时,占比大的类别往...

  • 一文看懂分类模型的评估指标:准确率、精准率、召回率、F1、ROC

    机器学习模型需要有量化的评估指标来评估哪些模型的效果更好。本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指...

  • 过拟合与欠拟合

    问题1: 在模型评估过程中,过拟合和欠拟合具体指什么现象? 过拟合是指模型对于训练数据拟合过当的情况。反应到评估指...

  • Evaluation of Maching Learning

    模型的评估分线上评估与线下评估,如何来对模型进行线上评估与线下评估呢?它们之间又有什么关系 首先怎么区别它们: 首...

  • 模型评估——模型评估方法

    Holdout检验 :是最简单直接的检验方法,它将原始样本数据集随机划分成训练集和测试集。 缺点就是不能保证训练集...

  • 企业价值评估的几种方法

    所谓企业价值评估,就是讲这家企业值不值钱,值不值得投资。是指买卖双方对标的做出的价值判断。股权评估是企业价值评估的...

网友评论

    本文标题:模型评估——评估指标的局限性

    本文链接:https://www.haomeiwen.com/subject/njfknctx.html