文章名称

【WSDM-2021】【Radboud University】Unifying Online and Counterfactual Learning to Rank

核心要点

文章旨在解决现有两类causal LTR方法不能够互相结合提升性能的问题，提出intervention-aware估计器，融合online和counterfactual LTR方法的优势，成功缓解了position bias，trust bias以及item-selection bias。

上一节介绍了作者研究的问题背景counterfactual LTR，以及作者期望解决的问题。本节继续介绍作者的研究思路与发现，以及提出的方法。

方法细节

问题引入

如前所述，当前消除偏差的方法可以分为counterfactual和online两类，两者各有优劣。尽管最近研究[11]发现一些counterfactual方法可以作为online线方法应用，或者反过来应用[5, 31]。 但是没有方法尝试结合两者的优势。作者提出的intervention-aware估计器基于[19]和[25]的思想，并扩展两者以考虑online干预的效果。

具体做法

intervention-oblivious estimator

在具体介绍提出的方法之前，作者首先介绍一个能够同时缓解selection-bias、item-selection bias以及trust bias的estimator，并暂时不考虑干预的影响。该方法将作为baseline进行对比。

如前所述，policy-aware estimator[19]引入排序列表和查询来估计每一个文档在排序列表中的出现概率，并以此加权样本。具体的纠正公式如下图所示。

policy-aware correction

为了解决policy-aware estimator无法纠正trust bias的问题，affine estimator[25]引入修正项，具体修正公式如下图示所示。

affine correction

其中分别如下图示所示。

alpha and beta

首先，基于线上策略，某一次推荐列表曝光下，文档被点击概率如下图所示。

probability of click given pi

其中，的期望可以表示为如下图所示的公式。

expectation of alpha and beta

重写上述公式，可以得到作者提出的intervention-oblivious estimator，其中是文档被点击的概率，是的采样值（也就是从日志里统计出来的），而是的估计值。

intervention-oblivious estimator

Intervention-oblivious estimator融合了policy-aware estimator和affine estimator，在每次点击时，根据日志记录策略行为应用仿射变换，并且可以证明Intervention-oblivious estimator在作者的建模假设下是无偏的。

无偏的证明过程如下图所示。如前公式2所示。证明过程中的第二个假设，防止除0错误。图上所示的公式21，可以用来证明intervention-oblivious estimator是无偏差的。其实就是利用期望公式，表明的期望是点击概率。并在最后利用公式4，得到intervention-oblivious estimator的期望是相关概率。

equation 4 unbias of intervention-oblivious estimator, proof 1 unbias of intervention-oblivious estimator, proof 2

最后，利用如下图所示的公式（reward的定义和经验估计值），可以得到Intervention-oblivious estimator对reward的估计是无偏差的。

reward definition corrected reward

Intervention-oblivious estimator不仅可以保证在数据收集期内，线上策略不变的情况，整个估计是无偏的。同时，也可以保证策略随时间变化的情况下，策略是无偏的（上述证明是按照来区分策略的，也就是策略是和时间相关的）。

本节继续介绍作者的研究思路与发现，以及提出的intervention-oblivious estimator方法。虽然，该方法可以做到无偏估计，并且可以做的不受线上策略变化的影响。然而，并没有考虑整个策略的一致性。下一节继续介绍，作者提出的intervention-aware estimator。

心得体会

无偏估计

个人感觉，整个无偏估计的证明，主要是利用一些假设，然后结合期望公式，保证观测数据的经验估计和整个估计的概率是相等的，例如 = 。

文章引用

[5] Olivier Chapelle and Yi Chang. 2011. Yahoo! Learning to Rank Challenge Overview. In Proceedings of the Learning to Rank Challenge. 1–24.

[11] Thorsten Joachims. 2002. Optimizing Search Engines using Clickthrough Data. In SIGKDD. ACM, 133–142.

[19] Tie-Yan Liu. 2009. Learning to Rank for Information Retrieval. Foundations and Trends in Information Retrieval 3, 3 (2009), 225–331.

[25] Harrie Oosterhuis and Maarten de Rijke. 2019. Optimizing Ranking Models in the Online Setting. In ECIR. Springer, 382–396.

[31] Adith Swaminathan and Thorsten Joachims. 2015. Counterfactual Risk Mini- mization: Learning from Logged Bandit Feedback. In ICML. PMLR, 814–823.