文章名称

【CIKM-2021】【Tencent/Renmin University of China】USER: A Unified Information Search and Recommendation Model based on Integrated Behavior Sequence

核心要点

文章旨在解决现有信息流（Feeds）平台单独建模搜索和推荐模型，而没有考虑两者之间联系的问题。作者认为联合建模这两个任务能充分两种任务的数据，解决数据系数问题，同时提升两种任务的性能，并最终提高整体用户满意度。因此，提出可以利用用户搜索和推荐混合行为序列的框架USER，联合建模混合序列。利用包括Text Encoder，Sequence Encoder（short-term/intra-session history），History Encode（long-term/inter-session history）和Unified Task Modeling在内的4个模块，融合两种任务的信息。并利用联合预训练和单独fine-tuning的2阶段训练方式，同时兼顾信息融合和（单独）分布拟合。

方法细节

问题引入

搜索引擎和推荐系统已经成为人们获取信息的主要渠道，两者的目标都是帮着人们更高效的获得想要的信息。然而，现有的平台都会独立训练搜索模型和推荐模型，并没有很好的利用两者的相关性。尽管有一些有益尝试，如在返回搜索结果时，带有一些推荐的相关文章（应该是有明显标记是，搜索同样问题的人也在看之类的），又如在推荐的文章末尾提供一些查询（头条、百度等信息流或搜索引擎都有在feed流里提供联想词）。但是，如何将这两个任务高效地聚合在一起仍然没有被很好的研究。[46]提出了一种利用联合损失为这两个任务训练两个独立模型的联合学习框架，但是该方法忽略了这两类方法在用户目的上的相关性，即即使获得想要的信息[2]。例如，用户在浏览推荐文章列表时，被标题为“新能源汽车：蔚来……？”的文章吸引。看完这篇文章，用户在搜索引擎中搜寻更多关于“新能源汽车”的信息，然后，浏览搜索结果。这种混合主动搜索和被动推荐行为的信息搜索模式，在用户日常使用的过程中非常常见。

具体做法

作者将用户在搜索和推荐中的行为整合成一个联合（异构的）行为序列（按时间顺序排序），利用一个统一序列的联合模型来处理这两个任务。 混合行为序列示意如下图所示。其中代表用户浏览过的文章，代表用户的历史查询，是对应查询下点击的文档。

integrated behavior sequence

作者将推荐过程看做是用户在个性化搜索系统中搜索了这个词，这样可以把推荐和个性化搜索整合起来。基于此，推荐和个性化搜索都是根据用户输入的查询词（使用这个词进行推荐）和其历史行为序列中（用户的偏好）来对候选文档进行排名，这体现出两者都是获取目标信息的共同本质（推荐场景下用户目标可能是模糊不清的）。

在介绍细节之前，我们形式化的描述一下联合行为序列建模问题，

• 如前所述，代表用户浏览过的文章，代表用户的历史查询，是对应查询下点击的文档。推荐场景用户的查询词认为是，被记作（文章中没有写，我自己标记的）。
• 行为序列被分为若干个session，依据[13, 20]用户30分钟以上没有操作，就被认为可以分为两个session。当前session的历史操作（intra-session）被称为short-term history，过往其他session的操作（inter-session）被称为long-term history，用户整个历史行为序列被记作{ B_{2,1}, B_{2,2}, (Q_{2,3}, D^{2,3}_1, D^{2,3}2, ), \ldots, }S_2Q{2,3}S_N$表示当前session。
• 联合训练框架的目的是，给定或时，根据用户偏好（short-term history和long-term history），返回个性化的文档列表。

USER

USER的整体框架如下图所示，由四个模块组成。

• Text Encoder。文本编码器，主要是NLP相关任务，利用word-level的transformer来学习文档和查询的嵌入向量表示表示。
• Session Encoder。会话编码器，主要对当前会话中的集成行为序列进行建模，统一编码用户搜索和浏览行为，并融合两类行为之间的相关性，以此反应用户的当前意图。在处理用户搜索行为时，作者采用共同注意机制[25]，来融合查询和对应点击文档的内在相关性。
• History Encoder。历史编码器，主要是对用户长期行为建模，从长期异构序列中学习信息反应用户固有意图。
• Unified Task Framework。这部分主要是统一推荐和搜索建模问题。作者采用两阶段训练的方法，首先使用来自两个任务的训练统一模型，并进行预训练，以减轻数据稀疏性的影响。随后，在各自任务上fine-tuning（就是在推荐和搜索各自场景下），以适应对应任务的数据分布。

USER framework

本节介绍了作者联合建模的思路和背景，以及联合建模的优势。并且介绍了问题的建模方法以及作者提出的统一建模框架USER的整体架构和各个组成部分。下一节继续介绍各个组成部分的细节。

心得体会

两阶段训练

个人感觉，如果统一建模后不是一起使用，可能还是会损失一定的性能，相当于没有在线上阶段反应出用户的搜索结合浏览的行为模式（见问题引入）。不过，如果是在各自场景用单独的模型，必须进行fine-tuning，因为单独建模必然会少掉另一部分的信息，且确实分布会不同。例如，搜索单独建模，那么一定会缺失推荐的隐式负反馈信息。

另外，感觉fine-tuning的过程不能太长，否则联合模型应该会遗忘掉推荐场景的特征，导致负向效果。

文章引用

[2] NicholasJ.BelkinandW.BruceCroft.1992.InformationFilteringandInformation Retrieval: Two Sides of the Same Coin? Commun. ACM 35, 12 (1992), 29–38.

[25] KaiShu,LimengCui,SuhangWang,DongwonLee,andHuanLiu.2019.dEFEND: Explainable Fake News Detection. In Proceedings of KDD 2019. ACM, 395–405.

[46] Hamed Zamani and W. Bruce Croft. 2018. Joint Modeling and Optimization of Search and Recommendation. In Proceedings of the First Biennial Conference on Design of Experimental Search & Information Retrieval Systems, Bertinoro, Italy, August 28-31, 2018 (CEUR Workshop Proceedings, Vol. 2167). CEUR-WS.org, 36–41.