文章名称
【CIKM-2019】【Gaoling School of Artificial Intelligence/Kuaishou Technology】A Model-Agnostic Causal Learning Framework for Recommendation using Search Data
核心要点
文章旨在解决现有在推荐系统中存在confounder导致偏差,并影响推荐效果的问题,提出模型无关的IV4Rec框架,能够从向量表示中有效地拆分因果关系和统计关联。该方法利用用户的搜索行为向量作为IV,来分解用户的推荐行为向量中的因果部分,并将分解的向量传入任意深度模型得到最终的推荐结果。
研究背景
推荐系统帮助人们解决长尾信息挖掘的问题,能够快速的发掘用户的兴趣。现有的推荐方法主要基于用户、物品等特征的统计相关性,该相关性即包含了因果的部分,也包含了一些统计关联。改变非因果的统计关联并不能得到效果的稳定提升。
许多大型平台,同时提供搜索和推荐的服务,用户的历史搜索行为是不受当前推荐场景的confounder的影响的,并且又只通过影响用户和物品的embedding来影响当前推荐场景下用户对物品的偏好,很好的符合IV[1, 5]的要求。因此,作者利用用户的历史行为分别构建基于推荐行为的treatment和基于搜索行为的IV,利用IV的性质,来消除推荐confounder带来的偏差。
方法细节
方法架构
Causal View
首先,作者从因果的角度建模搜索行为和推荐行为的因果关系图,如下图所示。其中分别表示用户的推荐上下文向量(可以被理解为用户embedding和物品embedding以及上下文embedding的结合体),推荐场景用户与物品的交互结果(或者说对物品的偏好),搜索场景用户的向量表示以及推荐场景下不可观测的混淆变量。
causal graph作者认为,搜索场景下的embedding不会受到推荐场景中的confounder的影响,例如曝光位置,物品流行度等等,并且搜索场景的embedding只通过影响推荐场景的embedding来影响用户在推荐场景的交互行为。个人理解,这里的搜索embedding是推荐中用到的用户搜索行为的历史信息。
基于此,作者把分别视为treatment,outcome和instrument variable。并可以从treatment中disentange出因果关系embedding和非因果关系embedding 。
IV4Rec
IV4Rec的整体框架如下图所示,主要包括3个步骤,
framework of IV4Rec
构造Treatment,。如前所述,作者把treamtment定义为一系列embedding的组合,包括目标物品的embedding和用户的历史行为embedding(当然还可能包括一些其他的上下文或用户的基础属性等,这里只利用用户的交互行为作为embedding输入),可以被形式化的表示为如下图所示。其中表示用户历史交互物品的集合及其标号(注意,下标包括目标物品)。这里的embedding可以利用,例如BERT之类的序列模型得到。
treatment embedding构造Instrument Variable,。作者把搜索行为的一系列矩阵当做Instrument Variable,可以被形式化的表示为如下图所示。其中,每一个矩阵表示针对物品的Top-K Query的embedding所组成的矩阵(注意,下标包括目标物品,并且,这里的每一个物品都和上边推荐,也就是treatment集合里的物品对应)。值得注意的是,这里的Top-K是利用在对应query下,物品的点击量排序得到的。同样的,这里的每一个embedding可以利用语言模型得到。
search embedding
本节介绍了文章的研究背景,并介绍了,作者融合用户搜索行为和推荐行为,利用搜索embedding作为IV,消除推荐embedding的偏差的思路,以及如何构造treatment和IV。下一节继续介绍如何利用IV从treatment中消除偏差,并最终得到推荐结果。
心得体会
Search能做IV么?
作者利用用户搜索行为中的查询语句的嵌入向量构造IV,来消除推荐场景confounder的影响。个人理解,如果是利用用户点击的结果来排序,并且时间不够长的话,其实,搜索向量也是有偏的,虽然和当前推荐场景并不是一个confounder,但是在引入了更复杂的因果图,只是影响相对较小而已。
文章引用
[1] Belloni A, Chen D, Chernozhukov V, and Hansen C. 2012. Sparse models and methods for optimal instruments with an application to eminent domain. Econometrica 80, 6 (2012), 2369–2429.
[5] V. Chernozhukov, G. W. Imbens, and W. K. Newey. 2007. Instrumental variable estimation of nonseparable models. Journal of Econometrics 139, 1 (2007), 4–14.
网友评论