美文网首页
2018-11-02 模型评估标准学习笔记

2018-11-02 模型评估标准学习笔记

作者: 毒菇小妖 | 来源:发表于2019-10-21 10:36 被阅读0次

    占坑,完善中。。。

    模型评估指标:

    accuracy:精确度:正确识别的所有数量在总数量中的占比。

    但是在可信度模型里,这样的评估标准是不适用的,比如疾病识别,垃圾邮件识别,需要要看哪种结果更不能接受,那么能接受的结果被正确判断的成功率越高才越好,所以引入了召回率这个衡量标准。

    recall: 召回率: 期望正确识别的数量在总正确数量的占比。

    可以理解为:

    如何只通过一个分数综合评估一个模型,

    如果你关注召回率和精确度的平衡,可以考虑引入F1 score

    公式:F1 Score=2*Precision∗Recall​/(Precision+Recall)

    这个 公式的重点在于寻求精确度和召回率的平衡,平衡度越高F1 score越高。  只要任意一个指标偏离越大,F1score越低,而且一般都定于算术平均值。

    如何根据模型的应用场景,找到更倾向于精确度或召回率的判断标准,引入 Fβ,公式如下图,β值越大,越需要召回率,反之越小越需要精确度

    ROC Curve

    如果取任意划分点的真阳性和假阳性的比例做为XY轴坐标点,会发现完美划分,随机划分和较好划分组成的ROC 曲线有对应的面积特点

    R2 Score 评估回归模型的指标

    计算模型和最简模型的差距。  R =  1- (模型误差/简单模型误差)

    趋近于0说明两个模型误差很小

    趋向于0代表

    代码:

    使用sklearn.metrics 中的 r2_score来计算r2值,https://scikit-learn.org/stable/modules/generated/sklearn.metrics.r2_score.html

    相关文章

      网友评论

          本文标题:2018-11-02 模型评估标准学习笔记

          本文链接:https://www.haomeiwen.com/subject/offcxqtx.html