推荐系统遇上深度学习(六十二)-[阿里]电商推荐中的特殊特征蒸馏

1、背景

在淘宝的推荐系统中，整个推荐流程可以分为下面的三个阶段：

首先是候选集生成阶段(candidate generation)，接下来是粗排阶段(coarse-grained ranking)，最后是精排阶段(fine-grained ranking)。这里跟咱们之前接触的两阶段过程不太一样，接下来分别介绍各阶段的内容。

在候选集生成阶段，通过多路召回的方式得到候选集合，召回方式可能有协同过滤、DNN模型等等。

在粗排阶段，主要的任务是预估精排阶段返回的候选集中每个物品的点击率，然后选择最高的一些物品进入精排阶段。粗排阶段输入的特征主要有用户的行为特征（用户的历史点击／购买行为，通常通过RNN或者self-attention进行处理）、用户自身特征（如用户id、性别、年龄）、物品自身特征（如物品id、类别、品牌）。在粗排阶段，考虑到性能的关系，模型的复杂度受到了很大的限制，因此通常是用下面的双塔结构：

点击率计算公式如下：

其中X^u和Xⁱ代表用户和物品对应的向量，X^u混合了用户本身特征和用户行为序列特征。W^u和Wⁱ代表用户和物品侧的参数，而Φ代表从输入到输出的映射关系。在线上应用阶段，可以预先把每个物品的映射计算出来，作为词表进行保存，当一个请求到来时，只需要计算用户侧的映射即可。过程如下图所示：

由于性能的限制，在粗排阶段没有考虑用户-物品的一些交互特征，如用户过去24小时在同类别下物品的点击行为、用户在过去24小时在物品所在店铺内的点击行为。加入这些特征，如果放到用户侧，那么针对每个物品都需要计算一次用户侧的映射，如果放到物品侧，同样针对每个物品都需要计算一次物品侧的映射，这会大大加大计算复杂度。因此，这些交互特征对于粗排阶段的模型来说，通常在线上无法应用，我们就称为Privileged Features。

最后讲一下精排阶段，这一阶段我们不仅要预估CTR、还要预估CVR，因为电商领域的推荐的目标一般是提高GMV（CTR * CVR * Price，商品的Price是确定的，无需预估）。CVR的定义是用户从点击到购买的概率。那么对于用户购买来说，用户在商品详情页面停留的时间、对于评论的查看与否、是否会与商家进行交流会是一些比较有用的强特征。但是，这些特征在线上预估阶段是无法获取的，我们需要在给用户展示物品的时候就来预估CVR，所以对于CVR预估来说，用户在点击后进入到商品详情页的一些特征同样是Privileged Features。

使用这些Privileged Features，是可以提升模型的预测精度的。因此本文借鉴模型蒸馏的思想，让粗排阶段的CTR模型或者是精排阶段的CVR模型，都能够学习到一些Privileged Features的信息。下一节，咱们来具体学习一下。

2、特殊特征蒸馏(Privileged Features Distillation)

接下来，咱们以粗排阶段的CTR预估来讲一下本文中提出的蒸馏技术。

2.1 模型蒸馏 VS 特殊特征蒸馏

先来看一下模型蒸馏Model Distillation和特殊特征蒸馏Privileged Features Distillation的对比：

二者的思路都是训练一个复杂的Teacher网络和一个简单的Student网络，并通过Teacher网络来在一定程度上指导Student网络的学习。对于模型蒸馏Model Distillation来说，两个网络的输入是相同的，只是Teacher网络的模型结构更加复杂；对于Privileged Features Distillation来说，两个网络的结构是相同的，只不过Teacher网络可以输入更多的Privileged Features。

2.2 Unified Distillation(UD)

如果只使用Privileged Features Distillation，Teacher网络和Student网络均使用双塔结构的话，这其实也对模型的能力在一定程度上进行了限制。因此实际应用中，融合Model Distillation和Privileged Features Distillation，便得到Unified Distillation。其结构示意图如下：

对于Teacher网络，使用多层神经网络来进行学习，而对于Student网络，还是使用双塔结构。

2.3 模型训练

既然是用Teacher网络来指导Student网络的训练，那么常见的一种方式是，先训练好一个比较精确的Teacher网络，然后再训练Student网络。Student网络的损失函数如下：

上面的损失函数被分为两部分，两部分都是计算交叉熵。其中X*代表Privileged Features。损失的第一部分是可以称为hard loss，其label是[0,1]或者[1,0]，第二部分可以称为soft loss或distillation loss，其label是Teacher网络的输出，如[0.8,0.2]（0.8的概率点击，0.2的概率不点击）。

但是，如果先训练Teacher网络，在阿里的实际场景中需要数天的时间。因此，一种做法是同时训练Teacher网络和Student网络，二者的损失函数变为：

这么做虽然能够带来训练速度的提升，但有时候的效果是比较差的。这主要是由于在训练的初期，Teacher网络的精度不够，给出的结果容易误导Student网络。因此通过对参数λ的控制来调整Teacher网络对于Student网络的影响。在初期，λ比较小，Teacher网络对于Student网络的影响较小，而随着训练的进行，逐步增加λ，让Student学习到更多的Teacher网络的信息。

论文里还提出了两点值得注意。首先是更新Teacher网络的时候，把distillation loss剔除，避免Student网络影响到teacher网络。第二点就是Teacher网络和Student共享特征的embedding，这样就极大减少了参数的数量。