文章名称

【SIGIR-2018】【UMass】Unbiased Learning to Rank with Unbiased Propensity Estimation

核心要点

文章旨在纠正L2R模型学习过程中受到的数据偏差的影响，优化首先估计propensity，随后估计相关性这种两阶段学习方法的性能。作者发现，从点击数据中估计propensity和unbiased learning-to-rank是对偶问题，并基于此提出了DLA同时学习无偏的排序模型和propensity模型。

方法细节

问题引入

the goal of unbiased learning-to-rank

现有的unbiased learning-to-rank框架主要通过在损失函数中纠正观测（点击）偏差来使学习得到的模型最终收敛到与利用真实的相关标签训练的结果一致。假设是查询的全集，排序模型对查询给出的排序结果的损失用表示，那么整体损失可以表示为如下图所示的公式。

total loss of S

最小化，可以得到最优的排序模型。然而，我们无法直接计算（主要是由于我们拿不到查询全更拿不到这个全集上的无偏差的相关性标签。所以，通常通过优化如下图所示的经验损失来进行模型的参数求解。（注意，这里两个是不一样的，简书对花体支持的有限，我们偷个懒...）

empirically loss of S

通常损失是基于文档的相关性以及该文档在推荐结果上的排序定义的，返回的排序结果用表示，是其中的一个文档，表示这个文档是否与查询真正相关（是个二值变量）。MAP，nDCG，ERR等排序指标通常只关注与查询相关的文档的位置（即只关注的文档的位置），因此可以把损失定义为如下图所示的式子，其中用来计算么一个相关文档的损失（如果是nDCG的话，就是每一个相关文档的折损相关性增益）。

loss l(S, q)

那么问题的关键在标签上，

• 如果采用专家标注所谓的真实相关性，一般是很费时费力的，并且没有个性化。
• 如果利用点击的隐式反馈，存在展示偏差（个人理解，布局之类的算这一类）[4]，信任偏差[15, 17]（应该是有噪声之类的），还有最重要的是位置偏差[1]

Inverse Propensity Weighting

现有的基于IPW的unbiased learning-to-rank框架（2018年的时候），主要采用两阶段方法，1）估计propensity；2）利用IPW纠正从观测点击数据预测查询-物品相关性的偏差。为了估计propensity，这些方法要么利用随机实验的结果，要么通过优化点击似然这个目标来学习模型参数。然而，点击似然这个目标与我们期望优化的排序评估指标是不直接相关的。

随机变量分别表示返回的排序结果中，文档是否被观察到以及是否被点击。通常假设等价于。IPW方法（IPW是inverse propensity weighting，和inverse propensity score的意思基本一致，为了统一，这里统一用IPW）的目标损失可以定义为如下图所示的公式。

IPW loss

值得注意的是，只在用户观察到的，并且相关的的文档上进行计算的，而忽略了没有被点击的文档。实际上，这样做的原因是，我们本不知道用户没有点击文档的原因是不相关，还是没观察到。此外，IPW方法的这个目标损失，是无偏的，基于这个目标和点击数据训练出来的模型，最终和利用真实相关性数据训练的模型是一致的（如果其他假设没有错的话，比如点击就代表一定是相关且被看到），无偏的证明过程如下（前面的IPW相关文章有详细叙述，这里就不赘述了，主要是期望的内移，最终郑亮两者期望上是一致的。注意求和号的下标）。

proof of unbias

How to estimate propensity

不言而喻，IPW中最重要的是propensity的估计。以位置偏差为例，在解决position bias的模型中，PBM假设，其中是文档在排序结果中的位置。简单粗暴的方法是，直接对排序的结果进行随机排位，得到的所有排位的结果能够保证各个位置都出现过具有相同相关性的文档（每个文档都出现在各种位置上），这样可以估计出关于不同位置的，被观测到的propensity，具体公式表示如下所示。

propensity estimation of random swapping

其中，第二行的等式利用了PBM的假设，用户的点击概率等于用户审视到该物品的概率乘以文档与查询具有相关性，即，进一步基于上述审视概率仅与位置相关的假设（以及当前我们是在做经验估计），可以得到。第三行，可以把概率提出去，因为内部的积分是对所有的查询，所有的文档，以及所有可能的排序结果进行，且期望是对，因此可以被提取出来。这个式子表明，位置被点击的期望，正比于该位置被审视到的概率，所以点击概率可以表示审视概率，不会受到相关性的影响。

具体做法

这一节主要讲解了问题的定义，IPW方法和基于随机实验的估计方法，下一节讲解DLA方法的细节

心得体会

损失只在点击样本上进行计算

文章讲解的比较清晰，梳理了IPW方法的使用和发展过程，并指出一个重点问题，只有点击数据对模型的训练做了贡献。因此IPW本身在数据利用率上比较低，并且没有挖掘到非点击数据的信息，可以帮助估计propensity（类似于点击和非点击互相验证，作者也就是从这个角度出发，探索新的方法）。

文章引用

[1] Thorsten Joachims, Laura Granka, Bing Pan, Helene Hembrooke, and Geri Gay. 2005. Accurately interpreting clickthrough data as implicit feedback. In Proceedings of the 28th annual ACM SIGIR. Acm, 154–161.

[2] Thorsten Joachims, Laura Granka, Bing Pan, Helene Hembrooke, Filip Radlinski, and Geri Gay. 2007. Evaluating the accuracy of implicit feedback from clicks and query reformulations in web search. ACM Transactions on Information Systems 25, 2 (2007), 7.

[3] Mark T Keane and Maeve O’Brien. 2006. Modeling Result-List Searching in the World Wide Web: The Role of Relevance Topologies and Trust Bias. In Proceedings of the Cognitive Science Society, Vol. 28.

[4] Yisong Yue, Rajan Patel, and Hein Roehrig. 2010. Beyond position bias: Examining result attractiveness as a source of presentation bias in clickthrough data. In Proceedings of the 19th WWW. ACM, 1011–1018.