搜索引擎 - 京东个性化召回DPSR模型

简介

• 当前电商搜索系统面临的两个主要挑战如下：（1）文本不匹配，语义匹配的商品召回；（2）召回结果的个性化； 本文为了解决这两个问题，提出了DPSR（Deep Personalized and Semantic Retrieval）模型。DPSR主要作用于检索的召回层，使得召回结果更加个性化并且能够召回具有语义匹配的商品。最终AB实验发现，能够提升1.29%的转化率，并且对于长尾Query提升的更多约10.03%的转化率。

电商搜索系统简介

• 电商搜索系统大致分为以下几个模块：
  （0）离线商品库建设、及倒排索引的建立。
  （1）Query Processing(QP模块)：主要包括分词、拼写纠错、查询改写等；
  （2）Candidate Retrieval(候选集召回)：基于离线建立的倒排索引，从几千万个商品中召回几百至上千的商品。用于减少整体服务耗时。
  （3）Ranking(排序模块)：用于对召回的结果进行排序，可以经过多层排序包括粗排、精排、重排等阶段。

电商搜索系统大致框架.png
淘宝搜索引擎架构.png

相关工作

• 传统的检索模型比如LSI, PLSI等都是监督式的模型，通过词语的共现关系及矩阵分解，学习词和Doc的embedding；采用的是一种非监督式的学习方法。DSSM, CDSSM是早期使用神经网络做语义匹配的模型。这些模型直接用于排序阶段，本文提出的模型是用于召回阶段。双塔模型广泛被用于推荐系统的召回过程，本文提出的DPSR模型也是一个双塔模型，在前面的模型基础上进行改进。

DPSR模型结构

• DPSR模型主要分为以下几个模块：（1）Offline Model Training [离线模型训练]；（2）Offline Indexing [离线item embedding索引建立]；（3）Online Serving [在线服务]；

DPSR模块划分.png

DPSR模型主要技术点

1. 双塔模型结构

• DPSR模型是一个典型的双塔模型，由Query塔和Item塔组成；对于一个给定的query ，和item ，一个经典的双塔模型的输出得分如下。 代表对应的embedding向量，代表物品对应的embedding向量。通常函数采用的是简单的内积操作，即；
  
• 双塔模型这样的设计，可以使得Query embedding和Item embedding计算独立开来。离线可以计算得到所有Item embedding然后建立索引，在线动态计算用户输入的Query embedding，然后通过最近邻搜索算法找到最近邻的TopK个Item。 注意：测试的时候每个头的Query embedding都去召回固定数量的item，然后通过Query embedding, Item embedding的内积对所有的召回结果进行排序和截断。

2. Query塔的多头机制

• 从论文中图3可以看出，通过User Profile, User History Events, Query Tokens embedding得到一个大的embedding之后，经过次投影得到个不同的embedding然后经过三个激活函数为Relu的MLP层，再经过归一化得到最终的Query embedding。因为有个不同的头，所以会得到个Query embedding；
• 通过多头的Query embedding，能够学到Query不同的意图；比如同一个Query的不同语义（例如苹果）、同一个query的不同品牌（例如手机）、同一个brand的不同产品（例如三星）；

3. 损失函数优化

• 假设总共有个头，每个头得到的Query embedding为，其中；item embedding为，其维度为。
  

• 权重的计算公式如下，使用一个softmax函数得到。下式中参数为softmax函数的温控因子。的取值越大，输出结果越平滑。
  

• 最终训练集是一个三元组的形式，包含输入的Query，正样本，负样本
  

  DPSR训练集.png

• 损失函数采用的是hinge loss，具体公式如下。其中是一个固定的边界值。
  

  DPSR损失函数.png

4. 负样本的采样

• 本文采用了一个混合的负样本采样策略：Random Negatives和Batch Negatives两种策略。 Random Negatives随机的从整个batch中进行采样。Batch Negatives从batch中的正样本进行采样，按照item出现的频率进行采样。最终负样本集合是这两个策略的混合，通过参数进行控制。Random Negatives样本的比例为，Batch Negatives的样本比例为；

image.png
image.png
image.png

• 最终，整个DPSR模型离线训练流程如下：

  
  image.png

5. 人为反馈数据

• 除了使用点击数据，我们的模型还使用了一些人为反馈数据：（1）Most skipped items： 对于某个Query下召回的商品，如果某个人曝光很多次都跳过了没有任何正向行为，把其作为负样本；（2）Human generated data：利用人工的一些领域知识标注的正负样本数据；（3）Human labels and bad case reports：人工标注的数据，和badcase反馈的数据；

参考文献

• [京东] Towards Personalized and Semantic Retrieval: An End-to-End Solution for E-commerce Search via Embedding Learning https://arxiv.org/pdf/2006.02282.pdf
• [淘宝] Embedding-based Product Retrieval in Taobao Search https://arxiv.org/pdf/2106.09297.pdf