文章名称

【AAAI-2019】【Rutgers University】Causal Collaborative Filtering

核心要点

文章旨在将现有的基于相关性的协同过滤模型，扩展到基于因果的协同过滤模型，使得模型能够打破观测数据的边界，真正的估计那些没有被观测到的反事实结果。作者提出了一个通用的协同过滤框架CCF来建模推荐系统中的因果关系，并且表明原有的基于相关性的协同过滤模型是CCF的特例，是简化CCF因果图之后的结果。作者还提出了一个条件干预方法来模拟do-calculus，以此从观测数据中估计因果关系，并利用新提出的反事实约束学习框架估计用户对物品的偏好。

上一节描述了如何利用观测数据和反事实数据估计，并详细介绍了简单的反事实样本生成、筛选以及条件期望的计算。本节继续介绍，所谓的反事实约束以及模型参数的学习方法。

方法细节

问题引入

上一节提到利用如下图所示的公式，基于生成的反事实样本和观测数据，可以得到的估计值。

p(y|u,do(v))

但是，如何学习模型的参数呢？

具体做法

在给定推荐模型的情况下，我们期望用户的偏好是真是的因果效应的估计（或者叫代理值吧）。此时，要求也就是说，利用模型估计出的偏好的概率分布和实际因果效应下的概率分布一致。

观察如下因果图中的子图c，满足后门准则，可以利用条件概率直接估计对的因果效应（可识别性），也就是说可以满足。

manipulation causal graph

基于此，我们可以利用当做模型训练目标的某种（反事实）约束限制条件。

将如下图所示的公式7，带入，并利用代替（这里的意思是观测的数据分布是由产生的）。

p(y|u,do(v))

由此可以得到如下图所示的等式。第一个等号，。

equality

如前所述，在分配各个样本（实际观测与反事实样本）的观测概率时（分配如下图所示），确定。

distribution of examples

因此，对于每一个反事实样本，其与实际观测样本元组都满足如下图所示的关系。

equality between observed example and counterfactual example

Counterfactual Learning

反事实约束目标可以分为两种，离散的和连续的（其实都是一回事儿），

• 离散情况下，其约束目标如下图所示。其中是指训练集中，除去中的物品以外的交互物品。是基于生成的反事实样本集合。这个约束的本质是要求反事实和观测的概率偏差不要太远。是控制这种远近的超参数。是推荐模型的训练目标。
  discrete counterfactual constraint

• 连续情况下，其约束目标如下图所示。本质是将上述离散的约束推广到连续空间，以适应当前比较流行的表示学习的场景（用户和历史交互都表示成了embedding，而反事实样本就是对历史embedding的一些小扰动）。

  
  continuous counterfactual constraint

值得注意的是，作者表示上述积分最终用Monte Carlo方法估计，实际还是回到了离散的情形。

Model Learning and Optimization

很那直接优化上述约束目标，因此作者对目标做了一些放松，利用损失函数中的额外惩罚项来近似约束（常规的松弛操作）。离散情况下，作者得到了公式12的拉格朗日优化形式，如下图所示。

Lagrange optimization form in discrete settings

在连续的场景下，可以进行类似操作。值得注意的是，公式13中的没有被进行转化，因为这一步可以在生成反事实样本的时候，通过挑选样本来满足。最终，连续场景的拉格朗日优化形式如下图所示，同样利用蒙特卡罗法求解。

relaxed objective

心得体会

代替

个人感觉，这个地方假设较强。要求观测分布是与目标模型的分布一致的。实际场景中，经常会出现产生观测数据的模型不是目标模型的情况。此时，可能和是不一致的。