推荐系统 - Youtube深度学习推荐系统

作者: nlpming | 来源:发表于2021-06-29 00:16 被阅读0次

论文《Deep Neural Networks for YouTube Recommendations》由2016年提出，模型主要由两部分组成：candidate generation model和ranking model。candidate generation model用于候选集的生成从几百万个视频中选取出与用户相关的几百个商品，ranking model对几百个商品进行打分，最后根据打分对候选视频进行排序。ranking model相比candidate generation model使用了更多的特征，并且使用了不同的训练目标；
candidate generation model根据用户最近观看的视频，预测用户下一次观看视频，论文中将其当做一个多分类问题，最后一次使用softmax回归。ranking model对候选视频进行打分，使用的是weighted logistic目标函数，将期望用户观看时长最为优化目标，权重即为用户观看当前视频的时长。
最终，candidate generation model实时的预测得到user embedding【或者也可离线计算好，只是实时性差了】，并且离线将video embedding存入redis等数据库，通过LSH向量最近邻搜索算法得到用户最相关的视频列表。ranking model在serving阶段通过计算 $e^{wx+b}$ 来对候选视频进行排序，通过后续的分析可知：这个值即为期望的用户观看时长，与Youtube推荐系统最终的优化目标一致。

Youtube深度学习推荐系统架构.png

使用的特征分别为：（1）embedded video watches 用户最近观看视频embedding求平均值；（2）embedded search tokens 用户最近搜索词向量求平均值；（3）geographic embedding 经纬度embedding向量；（4）example age 视频的产生时长；（5）用户性别；

candidate generation model.png

使用特征：（1）impression video ID 当前候选视频embedding；（2）watched video IDS 用户观看过的最后N个视频embedding求平均；（3）用户语言和当前候选视频语言 embedding ；（4）time since last watch 该用户上次观看同频道视频的时间；（5）该视频已曝光给该用户的次数 #previous impressions
对特征做了平方 $x^2$ 、开方 $\sqrt{x}$ 等处理，引入了特征的非线性，提升模型对特征的表达能力；

ranking模型.png

参考：YouTube深度学习推荐系统的十大工程问题 https://zhuanlan.zhihu.com/p/52504407

参考：On Using Very Large Target Vocabulary for Neural Machine Translation https://arxiv.org/pdf/1412.2007.pdf 【sampled softmax优化softmax计算量】
On word embeddings - Part 2: Approximating the Softmax https://ruder.io/word-embeddings-softmax/index.html#whichapproachtochoose 【如何优化softmax计算效率？】
tensorflow给出的说明文档：https://www.tensorflow.org/extras/candidate_sampling.pdf

关于user vector和video vector计算问题：首先，user vector可以利用最后一个隐层的输出结果假设为 $[N, K_3]$ ，其中 $N$ 为用户数， $K_3$ 为第三个隐层的输出维度；则用户向量为 $[1, K3]$ ；
对于video vector，假设最后一个隐层与softmax层的权重为 $W_n \in (K_3, V)$ ，则 $W_n$ 中的每一列即为每个video对应的向量；
线上使用时候，user embedding实时生成，video embedding离线训练好之后推到线上，使用类LSH方法进行匹配（比如使用现成工具faiss）

候选集生成网络.png

假设odds定义为： $odds = \frac{p}{1-p}$ ，正样本除以负样本概率， $p$ 表示用户观看某个视频的概率，其出现的概率一般很低；
$ln(odds) = ln \frac{p}{1-p} = \theta^Tx => \left[ odds = e^{\theta^Tx} \right]$
$p = (1-p) e^{\theta^Tx} => p = \frac{1}{1+e^{-\theta^Tx}}$
$odds = \frac{p}{1-p} => 加上权重 \frac{w_ip}{1-w_ip} \approx = w_ip = E(w_i)$
上式中， $e^{\theta^Tx}$ 即为ranking模型serving阶段的计算的值， $w_i$ 表示用户观看视频的时长；