文章名称

【CIKM-2021】【Gaoling School of Artificial Intelligence】PSSL- Self-supervised Learning for Personalized Search with Contrastive Sampling

核心要点

文章旨在解决现有个性化搜索场景下数据稀疏导致用户嵌入表示不够精确，排序模型性能受粗糙用户表示影响而性能下降的问题。提出利用对比学习的方式增强表示学习的能力，采用对比抽样方法从查询日志中的用户行为序列中提取成对自监督样本，并设计了四个辅助任务来预训练seq2seq排序模型，以缩小相似用户序列、查询和文档之间的距离。

方法细节

问题引入

对进行同样查询的所有用户，返回相同的结果，不能够满足用户的个性化需求。个性化搜索利用用户历史行为，学习用户的隐向量表示反应兴趣偏好，在改善用户搜索体验方面发挥着至关重要的作用。虽然现有方法取得了巨大成功，他们仍然存在一些问题，

• 现有方法需要大量数据来学习用户隐向量表示，但是用户的行为是稀疏的，影响了模型的学习能力。
• 现有方法只在排序任务上进行训练，没有充分利用查询日志信息，泛化能力差（个人认为主要是数据稀疏且有噪声引起的overfitting）。

近些年预训练语言模型取得了巨大的成功，作者认为在预训练数据上进行表示，有利于提升各种下游任务的性能。 基于此，作者尝试将预训练模式引入到个性化搜索场景中，遵循预训练语言模型的pipeline，在预训练数据上进行大规模训练，并在ranking任务上进行fine-tuning。

那么问题来了，如何从日志数据中利用预训练任务获得用户偏好信息？作者采用最近大热的自监督学习的思想，设计对比学习。

自监督学习在各种信息检索任务中取得了巨大成功，例如序列推荐[38, 42]和ad-hoc ranking[6, 18]。自监督学习，通过构造对比样本，解决数据稀疏性问题，适用于个性化搜索增强的场景。应用自监督学习进行解决个性化搜索问题时，需要构建两类不同的表示学习任务

• 句子编码，学习查询和文档的表示。
• 序列编码，行为序列建模，以根据查询日志获得用户表示。

作者基于的假设是，

• 查询层面。如果用户用两个相似的查询来查找相同的文档，这两个查询反映了相同的意图。
• 行为层面。提交相同查询来检索相同文档的两个用户，应该表现出一些行为上的相似之处。

具体做法

基于上述研究，作者提出自监督的个性化搜索学习框架，PSSL。该框架分为两个阶段，其整体框架如下图所示。

PSSL framework

• 第一阶段。作者利用self-contrastive sampling方法和user-contrastive sampling生成自监督样本。前者针对单个用户，从查询日志中构造对比样本，而后者从不同用户中提取对比样本。基于这2种对比角度，作者构造了4种类型对比样本，即查询对，文档对，序列增强对，和用户对。并基于此，学习查询encoder和序列encoder。
• 第二阶段，利用查询encoder和序列encoder来增强个性化搜索，在排序任务上进行fine-tuning。

个性化搜索问题可以形式化的定义为，

• 用户集合记作，每一个用户记作，对应的搜索日志记作。其中，q_{t}, d_{t, j}分别为时刻的query和在该query下，第个点击的文档。
• 个性化搜索的目的是，学习打分模型，基于用户搜索历史，得到在给定当前query 和候选集合的情况下，最优的相关性评分。作者形式化表示打分模型如下，其包含两个部分，表示基于用户搜索历史得到的个性化相关性分，而表示query和文档之间的基础或固有相关性。是一个多层感知机（可以理解为评分融合模型）。
  search scorea

本节介绍了PSSL方法的研究背景和解决问题的基本思路，并介绍了PSSL方法的基本框架，下一节继续介绍各个组成部分的细节。

个性化搜索

个人感觉，搜索的要点是把用户心中的那个答案排在首位。此时，里的首位其实很重要，不像推荐中，一个session用户可能点击多个，因为用户目的明确。

此外，不同搜索场景，用户点击的数量也有较大差别。例如垂直场景，基本就点1到2个。信息流或资讯类搜索，可能点击多个。这些都影响搜索模型的设计和数据构造。从纯CTR和CVR的角度，如果够准确，展示越少反而能够提高这两个指标。

query是搜索中相比推荐的最大优势（其实应该说是区别），一般都会被重点对待。但个性化时，也必须结合用户偏好和行为。毕竟同一个问题，不同人问是不同的意思。query和用户特征交互有很大作用。

文章引用

[6] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. 2020. Pre-training Tasks for Embedding-based Large-scale Retrieval. In ICLR. OpenReview.net.

[8] Steve Cronen-Townsend and W Bruce Croft. 2002. Quantifying query ambiguity. In Proceedings of the second international conference on Human Language Technology Research. Morgan Kaufmann Publishers Inc., 104–109.

[12] Songwei Ge, Zhicheng Dou, Zhengbao Jiang, Jian-Yun Nie, and Ji-Rong Wen. 2018. Personalizing Search Results Using Hierarchical RNN with Query-aware Attention. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management (CIKM ’18).

[18] Xinyu Ma, Jiafeng Guo, Ruqing Zhang, Yixing Fan, Xiang Ji, and Xueqi Cheng. 2021. PROP: Pre-training with Representative Words Prediction for Ad-hoc Retrieval. In WSDM. ACM, 283–291.

[27] Craig Silverstein, Hannes Marais, Monika Henzinger, and Michael Moricz. 1999. Analysis of a very large web search engine query log. In ACm SIGIR Forum, Vol. 33. ACM, 6–12.

[28] Yang Song, Hongning Wang, and Xiaodong He. 2014. Adapting deep ranknet for personalized search. In WSDM’2014. ACM, 83–92.

[32] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in neural information processing systems. 5998–6008.

[38] Xu Xie, Fei Sun, Zhaoyang Liu, Jinyang Gao, Bolin Ding, and Bin Cui. 2020. Contrastive Pre-training for Sequential Recommendation. CoRR abs/2010.14395 (2020).

[42] Kun Zhou, Hui Wang, Wayne Xin Zhao, Yutao Zhu, Sirui Wang, Fuzheng Zhang, Zhongyuan Wang, and Ji-Rong Wen. 2020. S3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization. In CIKM. ACM, 1893–1902.