美文网首页因果推断推荐工具箱
因果推断推荐系统工具箱 - IV4Rec(一)

因果推断推荐系统工具箱 - IV4Rec(一)

作者: processor4d | 来源:发表于2022-02-18 20:55 被阅读0次

    文章名称

    【CIKM-2019】【Gaoling School of Artificial Intelligence/Kuaishou Technology】A Model-Agnostic Causal Learning Framework for Recommendation using Search Data

    核心要点

    文章旨在解决现有在推荐系统中存在confounder导致偏差,并影响推荐效果的问题,提出模型无关的IV4Rec框架,能够从向量表示中有效地拆分因果关系和统计关联。该方法利用用户的搜索行为向量作为IV,来分解用户的推荐行为向量中的因果部分,并将分解的向量传入任意深度模型得到最终的推荐结果。

    研究背景

    推荐系统帮助人们解决长尾信息挖掘的问题,能够快速的发掘用户的兴趣。现有的推荐方法主要基于用户、物品等特征的统计相关性,该相关性即包含了因果的部分,也包含了一些统计关联。改变非因果的统计关联并不能得到效果的稳定提升。

    许多大型平台,同时提供搜索和推荐的服务,用户的历史搜索行为是不受当前推荐场景的confounder的影响的,并且又只通过影响用户和物品的embedding来影响当前推荐场景下用户对物品的偏好,很好的符合IV[1, 5]的要求。因此,作者利用用户的历史行为分别构建基于推荐行为的treatment和基于搜索行为的IV,利用IV的性质,来消除推荐confounder带来的偏差。

    方法细节

    方法架构

    Causal View

    首先,作者从因果的角度建模搜索行为和推荐行为的因果关系图,如下图所示。其中\mathcal{ T }^{}_{u, i}, \mathcal{ Y }^{}_{u, i}, \mathcal{ Z }^{}_{u, i}, \mathcal{ B }^{}_{}分别表示用户的推荐上下文向量(可以被理解为用户embedding和物品embedding以及上下文embedding的结合体),推荐场景用户与物品的交互结果(或者说对物品的偏好),搜索场景用户的向量表示以及推荐场景下不可观测的混淆变量。

    causal graph

    作者认为,搜索场景下的embedding不会受到推荐场景中的confounder的影响,例如曝光位置,物品流行度等等,并且搜索场景的embedding只通过影响推荐场景的embedding来影响用户在推荐场景的交互行为。个人理解,这里的搜索embedding是推荐中用到的用户搜索行为的历史信息。

    基于此,作者把\mathcal{ T}^{}_{u, i}, \mathcal{ Y }^{}_{u, i}, \mathcal{ Z }^{}_{u, i}分别视为treatment,outcome和instrument variable。并可以从treatment中disentange出因果关系embedding和非因果关系embedding \hat{\mathcal{ T }}^{}_{u, i},\tilde{\mathcal{ T }}^{}_{u, i}

    IV4Rec

    IV4Rec的整体框架如下图所示,主要包括3个步骤,

    framework of IV4Rec
    • 构造Treatment,\mathcal{ T }^{}_{u, i}。如前所述,作者把treamtment定义为一系列embedding的组合,包括目标物品i的embedding和用户的历史行为embedding(当然还可能包括一些其他的上下文或用户的基础属性等,这里只利用用户的交互行为作为embedding输入),可以被形式化的表示为如下图所示。其中\mathcal{ I}^{}_{u},j表示用户历史交互物品的集合及其标号(注意,下标j包括目标物品i)。这里的embedding可以利用,例如BERT之类的序列模型得到。

      treatment embedding
    • 构造Instrument Variable,\mathcal{ Z }^{}_{u, i}。作者把搜索行为的一系列矩阵当做Instrument Variable,可以被形式化的表示为如下图所示。其中,每一个矩阵\boldsymbol{Z}^{}_{j}表示针对物品j的Top-K Query的embedding所组成的矩阵(注意,下标j包括目标物品i,并且,这里的每一个物品都和上边推荐,也就是treatment集合里的物品对应)。值得注意的是,这里的Top-K是利用在对应query下,物品j的点击量排序得到的。同样的,这里的每一个embedding可以利用语言模型得到。

      search embedding

    本节介绍了文章的研究背景,并介绍了,作者融合用户搜索行为和推荐行为,利用搜索embedding作为IV,消除推荐embedding的偏差的思路,以及如何构造treatment和IV。下一节继续介绍如何利用IV从treatment中消除偏差,并最终得到推荐结果。

    心得体会

    Search能做IV么?

    作者利用用户搜索行为中的查询语句的嵌入向量构造IV,来消除推荐场景confounder的影响。个人理解,如果是利用用户点击的结果来排序,并且时间不够长的话,其实,搜索向量也是有偏的,虽然和当前推荐场景并不是一个confounder,但是在引入了更复杂的因果图,只是影响相对较小而已。

    文章引用

    [1] Belloni A, Chen D, Chernozhukov V, and Hansen C. 2012. Sparse models and methods for optimal instruments with an application to eminent domain. Econometrica 80, 6 (2012), 2369–2429.

    [5] V. Chernozhukov, G. W. Imbens, and W. K. Newey. 2007. Instrumental variable estimation of nonseparable models. Journal of Econometrics 139, 1 (2007), 4–14.

    相关文章

      网友评论

        本文标题:因果推断推荐系统工具箱 - IV4Rec(一)

        本文链接:https://www.haomeiwen.com/subject/jxicqrtx.html