美文网首页
后验调权的bias修正

后验调权的bias修正

作者: shudaxu | 来源:发表于2019-03-14 18:41 被阅读0次

在工业界中,一个完整的系统往往不是简单通过一个模型预估就能解决的。
往往有多个目标,多个目标系数的调整。

利用后验数据对排序结果进行调权也是常用的手段。
例如当前推荐系统有两个目标ctr1,ctr2,模型对ctr1进行预估。当我们想利用ctr2的数据对结果进行调权重排的时候,应该如何实现?

普遍的方法:
ctr1_predict ^ a * ctr2_posterior ^ b
由于现实情况中,你无法获得真实的后验数据(你都知道后验还需要啥预估),所以后验数据都是基于一个相对更粗粒度(要逼近的粒度是用户当前时刻场景对某个资源的ctr2)的数据统计。如:某类资源的ctr2,某个资源的ctr2,用户对某类资源的ctr2。

所以首先,由于统计和使用粒度上的差异,ctr2_posterior本身对用户本次点击的预估来说是有偏的。这个偏差无法从根源上消除,只能通过更细粒度的刻画来逼近真实值。

但是由于ctr1与ctr2有一定的相关性,ctr1为模型对当前点击的预估值,我们认为是一个更细粒度,比ctr2更置信的值。那么我们能通过ctr1和ctr2的相关性对后验ctr2做修正,以减小bias


例:x轴为ctr1_posterior,y轴为ctr2_posterior,回归参数为theta0,theta1

图中回归参数:
F(x) = theta0 + theta1 * x
所以:
unbiased_ctr2 = ctr2_posterior - F(ctr1_posterior) + F(ctr1_predict)

相关文章

  • 后验调权的bias修正

    在工业界中,一个完整的系统往往不是简单通过一个模型预估就能解决的。往往有多个目标,多个目标系数的调整。 利用后验数...

  • 吴恩达深度学习笔记(42)-指数加权平均的偏差修正

    指数加权平均的偏差修正(Bias correction in exponentially weighted ave...

  • 诗—似乎是这么回事

    关于先验置信度、似然度、后验置信度的小故事。关于世界,关于自我,我们是有感情的。一路上,关于认知,一直修正,也修正...

  • JWT验权

    JWT是什么? JWT(JSON Web Token)是一个公开的标准(RFC 7519),标准规定信息通过jso...

  • 贝叶斯公式-快餐学习

    1.背景知识 贝叶斯思考模式: 先验分布+样本信息 ⇒ 后验分布,这种思考模式意味着,新观察到的样本信息将修正人们...

  • 南宁有没有免费验房

    免费验房也称公益验房 公益验房,联合中国社调所、天之柱验房公司、重庆中世律师事务所、重庆经济广播共同开展的免费公益...

  • Causes of Error 和 Curse of Demen

    误差引起有两个方面:Bias 和 Variance Bias 为什么称为bias? 顾名思义,bias就是因为人的...

  • 最大似然估计 最大后验估计

    MLE MAP 最大后验概率 wiki 机器学习基础篇——最大后验概率 MLE:首先看机器学习基础篇——最大后验概...

  • 模型的variance&bias

    Bias:Bias are the simplifying assumptions made by a model...

  • 认知偏差(译自维基百科)

    Cognitive bias 认知偏差 A cognitive bias refers to a systemat...

网友评论

      本文标题:后验调权的bias修正

      本文链接:https://www.haomeiwen.com/subject/wegcmqtx.html