美文网首页
后验调权的bias修正

后验调权的bias修正

作者: shudaxu | 来源:发表于2019-03-14 18:41 被阅读0次

    在工业界中,一个完整的系统往往不是简单通过一个模型预估就能解决的。
    往往有多个目标,多个目标系数的调整。

    利用后验数据对排序结果进行调权也是常用的手段。
    例如当前推荐系统有两个目标ctr1,ctr2,模型对ctr1进行预估。当我们想利用ctr2的数据对结果进行调权重排的时候,应该如何实现?

    普遍的方法:
    ctr1_predict ^ a * ctr2_posterior ^ b
    由于现实情况中,你无法获得真实的后验数据(你都知道后验还需要啥预估),所以后验数据都是基于一个相对更粗粒度(要逼近的粒度是用户当前时刻场景对某个资源的ctr2)的数据统计。如:某类资源的ctr2,某个资源的ctr2,用户对某类资源的ctr2。

    所以首先,由于统计和使用粒度上的差异,ctr2_posterior本身对用户本次点击的预估来说是有偏的。这个偏差无法从根源上消除,只能通过更细粒度的刻画来逼近真实值。

    但是由于ctr1与ctr2有一定的相关性,ctr1为模型对当前点击的预估值,我们认为是一个更细粒度,比ctr2更置信的值。那么我们能通过ctr1和ctr2的相关性对后验ctr2做修正,以减小bias


    例:x轴为ctr1_posterior,y轴为ctr2_posterior,回归参数为theta0,theta1

    图中回归参数:
    F(x) = theta0 + theta1 * x
    所以:
    unbiased_ctr2 = ctr2_posterior - F(ctr1_posterior) + F(ctr1_predict)

    相关文章

      网友评论

          本文标题:后验调权的bias修正

          本文链接:https://www.haomeiwen.com/subject/wegcmqtx.html