美文网首页百面机器学习
模型评估——A/B 测试

模型评估——A/B 测试

作者: 乔大叶_803e | 来源:发表于2019-12-24 16:36 被阅读0次

机器学习中 A/B测试是验证模型最终效果的主要手段。

在已经对模型进行充分的离线评估的情况下,为什么还需要进行在线的A/B 测试的原因

  • 离线评估无法完全消除模型过拟合的影响。
  • 离线评估无法完全还原线上的工程环境。一般来讲,离线评估往往没有考虑线上环境的延迟、数据丢失、标签数据缺失等情况。也就是说,离线评估是理想工程环境下的结果。
  • 离线评估一般是针对模型本身进行评估,线上系统的某些商业指标在离线评估中无法计算。如推荐问题中,离线评估关注ROC曲线、P-R曲线,而线上评估可以全面了解用户点击率、留存时长、PV访问量等变化。

如何进行A/B测试 主要手段是进行用户分桶,将用户分成实验组和对照组,对实验组用户新模型,对照组进行旧模型。

而且要保证分桶的样本的独立性以及采样的无偏性。

相关文章

  • 模型评估——A/B 测试

    机器学习中 A/B测试是验证模型最终效果的主要手段。 在已经对模型进行充分的离线评估的情况下,为什么还需要进行在线...

  • 复习 - 模型测试

    一、模型测试的API总结 1、分类算法评估方式 2、回归算法评估方式 二、分类模型测试 交叉验证:(Cross V...

  • A/B测试

    需要进行在线A/B测试的原因如下。 (1)离线评估无法完全消除模型过拟合的影响,因此,得出的离线评估结果无法完全替...

  • 训练集和测试集

    训练集和测试集 train set 用来训练模型,估计参数 test set 用来测试和评估训练出来的模型好坏,不...

  • 2018-12-12

    1.4模型评估与模型选择 1.4.1训练误差与测试误差 测试误差反映了学习方法对未知的测试数据集的预测能力,是学习...

  • NLP学习-07.基础-语言模型-评估-perplexity

    如何评估语言模型的好坏? 有监督情况: AB测试: 对两种模型就行ab测试,看哪个在测试集合准确率高 无监督情况:...

  • tensorflow-3

    checkpoint 可以上手撸代码,明白建立网络、训练、评估测试的实现,常见模型:线性回归模型、softmax应...

  • sklearn数据集

    sklearn数据集的划分 训练集:用于训练,构建模型测试集:在模型检验时使用,用于评估模型是否有效 •sklea...

  • 用数据驱动和A/B测试解决问题

    A/B测试是一项非常基础的工具,A/B测试不一定是最好的评估方法。它不是万能的,但不会A/B测试肯定是不行的。A/...

  • 统计学习方法1.4-2.1 笔记

    1.4 模型评估与模型选择 训练误差与测试误差 关于模型的拟合好坏,计算训练集的训练误差进行衡量。关于模型预测的好...

网友评论

    本文标题:模型评估——A/B 测试

    本文链接:https://www.haomeiwen.com/subject/nyjfoctx.html