文章名称

【AAAI-2019】【University College London/Noah's Ark Lab】Debiasing Career Recommendations with Neural Fair Collaborative Filtering

核心要点

文章旨在研究领域偏差是如何影响跨领域推荐的，并在此基础上提出了针对跨领域推荐的IPS模型以及3种学习propensity score的约束，形成基于因果嵌入向量的跨领域推荐框架，在进行跨领域推荐时，消除领域偏差对用户信息迁移到影响。

上一节介绍了作者要解决的跨领域推荐的背景，解决的思路以及因果图的结构，本节继续讲解作者提出的IPS模型，以及优化估计的方法。

方法细节

问题引入

理想的跨领域推荐模型的准确性评估方法如下图所示，其中分别表示估计的用户反馈（点击或评分）的随机变量以及具体取值（个人感觉具体取值应该有下标，作者omit了）。分别表示用户的embedding以及物品特征，表示推荐系统的损失函数，是推荐模型。

ideal measure

由于无法观测所有数据，所以只能在观测数据上作恶naive的估计，具体估计公式如下图所示。

naive estimator

因此[39]提出了IPS方法，基于此作者提出一种适用于跨领域推荐的IPS方法，本质上和IPS方法没有比较大的差别。但值得注意的是，作者定义propensity score为，也就是说再某个领域下，用户和物品元组出现在推荐结果中的概率。具体的估计公式如下图所示。

IPS estimator

可以证明IPS的估计结果是无偏的，之前很多的文章提到过，这里不再赘述了（详情可参见因果推断推荐系统工具箱 - MRDR（一））

unbiased proof

问题的重点是，

• 不同领域下的用户偏好因为领域特有混淆变量的作用是有领域偏差的，但这种造成偏差的领域要素分散在各个领域的数据里，也很少的被观测到。
• 原有的用户和物品元组已经很稀疏了，现在问题扩展到了用户，物品和领域3个维度，数据更加稀疏。

上述两个问题，导致很难学到准确的propensity score，不准确的propensity score又会导致无偏估计的效果变差。因此，需要寻找解决办法，在跨领域场景中准确估计propensity score。

具体做法

作者发现，propensity score一方面充当了纠正偏差的权重，一方面表明了用户的偏好（是propensity score的定义）。由此出发，作者提出了3种约束来帮助学习，

• estimator level。Propensity score是debias权重，经过调整后，领域有偏的embedding下学习得到的误差应该和在领域无偏的embedding下学到的误差是相等的。
• domain level。结合用户的领域embedding和propensity score可以复原没有领域偏差的用户embedding。因此，可以利用多个领域复原的无偏用户embedding对齐的方式，约束propensity score。
• individual level。因为用户的特定领域的embedding表示了用户在该领域的偏好，而用户在该领域下，对所有物品的propensity score的聚合也反映了用户在该领域的偏好。两者应该在近似程度上是一致的。

Estimator级别约束

如上所述，propensity score在IPS方法中充当着debias权重的角色，debias之后的目标函数是物品的，具体公式如下图所示。

debias equation

作者基于此提出如下图所示的约束条件，实际上是期望每个领域学到的propensity score都能够把领域偏差影响后的用户embedding映射回统一的用户偏好embedding（感觉有点循环统一的意思）。

estimator level restriction

其中，是不同领域映射的权重。作者用神经网络建模之间的映射关系，具体的建模方式如下图所示，其中表示待学习的参数。

relationship between 𝒗 and 𝒗_d

最终，estimator级别约束的目标损失如下图所示。

estimator level restriction loss

本节介绍了跨领域propensity score估计的难点以及作者提出的3种用于准确估计propensity的约束，并描述了Estimator级别约束的细节。下一节继续介绍其他2种约束，以及参数优化学习的方法。

心得体会

一致性

作者利用debias后不同领域估计器需要对齐的特性，构建了所谓estimatior级别的propensity score约束。这种方式类似于利用信息一致性的方法辅助学习propensity score，现在也常见于CV和NLP等许多机器学习领域。