因果推断推荐系统工具箱 - CFF（二）

作者: processor4d | 来源:发表于2022-02-10 13:58 被阅读0次

文章名称

【CIKM-2021】【Beijing Key Laboratory of Big Data Management and Analysis Methods-AntGroup】Counterfactual Review-based Recommendation

核心要点

文章旨在解决现有基于评论的推荐系统中存在的评论稀疏和不平衡的问题，提出在feature-aware的推荐场景下，利用反事实样本提升模型性能。作者通过修改（Intervention）用户的偏好（体现在用户的一些评论信息里）来生成反事实样本，并使用观测样本和反事实样本共同训练推荐模型，提升模型性能。在生成反事实样本时，利用learning-based方法代替随机生成的方式，生成最能够提升模型性能的反事实样本。此外，作者进行了理论分析，讨论生成样本数量和模型受到的噪声干扰的关系。

上一节讲解了作者的研究背景，基础模型和生成反事实样本的思路，本节继续介绍反事实生成的控制细节和理论分析。

研究背景

如前所述，现有基于评论的方法没有触及评论推荐的本质问题，即数据稀疏和不平衡。评论信息能极大地提升推荐系统的性能，但评论信息也是稀疏的、不平衡的，给准确、高效的推荐带来了极大挑战，需要付诸极大地努力使得模型取得令人满意的性能。在亚马逊数据集上的统计结果显示，只有极少数用户经常评论，以及极少数的物品和方面被提及。因此，作者借鉴反事实的思想，通过最小程度的调整用户偏好，来改变用户物品偏好的排序结果（pairwise loss），以此生成反事实样本。

基于随机的方法生成反事实样本不但低效且样本质量不高，因此，作者采用learning-based方法，生成以提升模型性能为目标的反事实样本。

方法细节

Constrained feature perturbation

如前所述，生成的反事实样本应该尽量少的改变原有样本，即接近原始样本，并且改动的特征数少（对应着反事实生产的两个质量评估标准proximity和sparsity）。为了实现这一目标，作者采用两种方式对样本扰动进行限制，

hard constraints。由于用户一般只关注物品集合的一小部分样本[28]，且只关注他们所关心的重点的特性。因此，可以从该用户的特征（关注特性向量）向量 $\boldsymbol{A}^{}_{u} \in {\R}^{1 \times |\mathcal{ F }|}_{}$ 中选择数值最大（最重要）的 $K$ 个元素，对其进行扰动，该策略可以形式化为如下图所示的形式。其中 ${k}^{u}_{}$ 表示选择 $K$ 个元素的掩码向量，其他不是对这 $K$ 个元素的扰动会被mask掉（扰动向量乘以0）。
hard perturbation constraint
preference score with hard perturbation constraint

soft constraints。虽然，hard constraints可以简单直接，且可以引入先验知识，但需要调试超参数 $K$ 。因此，作者采用 $L_1-norm$ 的方式进行软约束，达到稀疏性的目的（在反事实生成领域是基操）。该方法可以被形式化为如下图所示的形式。注意，这里没有掩码， $r$ 的计算还是如前所述的形式（见下图 $r^*$ ）。
soft perturbation constraint
r start

除此之外，作者依据频率采样的trick，目的是为评论较少的用户生成更多的样本，防止模型overfitting。生成样本的概率与用户现有的评论数量 ${n}^{}_{u}$ 的关系为， $\frac{\frac{1}{{n}^{u}_{}}}{\sum_{i=1}^{|\mathcal{U}}{\frac{1}{n_i}}{}}$ 。

Modeling user scores

作者采用MLP来基于用户和物品特性，预测用户对物品的偏好（分数） ${r}^{}_{ui}$ 。其中， $\boldsymbol{W}^{}_{}, {\sigma}^{}_{}, m$ 分别表示参数矩阵，非线性激活函数和融合层。

user score modeling

所谓融合层，是指如何fuse用户和物品特性。作者采用了4中常见的融合形式，如下图所示。

m function

Theoretical Analysis

如前所述，反事实样本的标签是利用预训练的模型 $g$ 的到底，然后再用这些数据“boostrap”这个模型 $g$ 。因此， $g$ 的准确率严重影响整个方法的效果。作者从理论的角度分析了模型误差和生成样本数量的关系。具体分析过程，因果推断推荐系统工具箱 - CASR（三）基本一致（因为作者和机构有重叠，感兴趣的同学可以参考CASR[27]的介绍文章和原文，作者也引用了该文章）。理论描述如下图所示， $\eta, \delta$ 分别是模型 $g$ 的预测误差和我们期望整个方法的估计误差大于等于 $\epsilon$ 的概率（界限）。

Therom1

总的说，就是预测误差 $\eta$ 越大，需要的样本数量越多（符合直觉）。基于此，同CASR[27]一样，作者引入了超参数 $\kappa$ ，来控制生成的反事实样本的置信度，只有大于阈值的反事实样本才会被生成。

improved counterfactual generation

代码实现

$CF^2$ 的伪代码如下图所示。

pseudo code

心得体会

反事实样本生成

如前所述，本文的套路，理论证明都和因果推断推荐系统工具箱 - CASR（三）非常同出一脉，其实主要是利用原模型进行反事实样本生成，只是应用到不同场景，可以一起来学习。

文章引用

[27] Zhenlei Wang, Jingsen Zhang, Hongteng Xu, Xu Chen, Yongfeng Zhang, Wayne Xin Zhao, and Ji-Rong Wen. 2021. Counterfactual Data-Augmented Sequential Recommendation. In Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 347–356.

[28] Yongfeng Zhang, Guokun Lai, Min Zhang, Yi Zhang, Yiqun Liu, and Shaoping Ma. 2014. Explicit factor models for explainable recommendation based on phrase-level sentiment analysis. In SIGIR.

网友评论

本文标题：因果推断推荐系统工具箱 - CFF（二）

本文链接：https://www.haomeiwen.com/subject/xgcmkrtx.html

延伸阅读

深度阅读

您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！