美文网首页
机器学习第四课:模型评估

机器学习第四课:模型评估

作者: 素心似锦 | 来源:发表于2019-11-29 19:24 被阅读0次

课程学习目标

数据拆分:训练数据集&测试数据集

评价分类结果:精准度、混淆矩阵、精准率、召回率、F1 Score、ROC曲线等

评价回归结果:MSE、RMSE、MAE、R Squared

分类算法的评价

1、混淆矩阵

对于一个癌症预测系统,输入检查指标,判断是否患有癌症,预测准确度99.9%。这个系统是好是坏呢?如果癌症产生的概率是0.1%,那其实根本不需要任何机器学习算法,只要系统预测所有人都是健康的,即可达到99.9%的准确率。也就是说对于极度偏斜(Skewed Data)的数据,只使用分类准确度是不能衡量。这是就需要使用混淆矩阵(Confusion Matrix)做进一步分析。

[if !supportLists]2、[endif]精准率和召回率

精准率:

即精准率为8/(8+12)=40%。所谓的精准率是:分母为所有预测为1的个数,分子是其中预测对了的个数,即预测值为1,且预测对了的比例。

为什么管它叫精准率呢?在有偏的数据中,我们通常更关注值为1的特征,比如“患病”,比如“有风险”。在100次结果为患病的预测,平均有40次预测是对的。即精准率为我们关注的那个事件,预测的有多准。

召回率:

即精准率为8/(8+2)=80%。所谓召回率是:所有真实值为1的数据中,预测对了的个数。每当有100个癌症患者,算法可以成功的预测出8个 。也就是我们关注的那个事件真实的发生情况下,我们成功预测的比例是多少。

[if !supportLists]3、[endif]代码实现

[if !supportLists]4、[endif]总结

本篇文章主要学习了混淆矩阵、精准率、召回率这三个概念。

精准率(查准率):预测值为1,且预测对了的比例,即:我们关注的那个事件,预测的有多准。

召回率(查全率):所有真实值为1的数据中,预测对了的个数,即:我们关注的那个事件真实的发生情况下,我们成功预测的比例是多少。

相关文章

  • Spark机器学习笔记

    Spark机器学习笔记 机器学习 机器学习是数据通过算法构建出模型并对模型进行评估,评估的性能如果达到要求就拿这个...

  • 一文深度解读模型评估方法

    本文将总结机器学习最常见的模型评估指标。训练学习好的模型,通过客观地评估模型性能,才能更好实际运用决策。模型评估主...

  • 【Spark Mllib】性能评估 ——MSE/RMSE与MAP

    推荐模型评估 本篇我们对《Spark机器学习1.0:推荐引擎——电影推荐 》模型进行性能评估。 MSE/RMSE ...

  • 【百面机器学习】优化算法

    机器学习算法 = 模型表征 + 模型评估 + 优化算法。不同的优化算法对应的模型表征和评估指标分别为线性分类模型和...

  • 机器学习模型评估指标示例

    选择正确的度量来评估机器学习模型 我们什么时候评估我们的机器学习模型呢?答案不是只有一次。通常,我们在实际的数据科...

  • C#机器学习之判断日报是否合格

    简单来说机器学习的核心步骤在于“获取学习数据;选择机器算法;定型模型;评估模型,预测模型结果”,下面本人就以判断日...

  • 机器学习模型评估

    1.训练集测试集划分方案 a)留出法hold-out 直接将原始数据集D划分为两个互斥集合,其中一个作为训练集S,...

  • 机器学习-模型评估

    1.归纳偏好 机器学习算法在学习过程中对某种类型假设的偏好,称为归纳偏好。 *两种决策 适用情形尽可能少(经验误差...

  • 【机器学习】①模型评估

  • 评估机器学习模型

    机器学习的目的是得到泛化(generalize)的模型,因此,解决过拟合很重要。 训练集、验证集、测试集 将数据分...

网友评论

      本文标题:机器学习第四课:模型评估

      本文链接:https://www.haomeiwen.com/subject/faogwctx.html