1、DIN
1.1 动机:
(1)用户的兴趣是多样的,传统模型用固定长度的用户兴趣表征向量限制了模型的表达能力,很难准确刻画用户兴趣的多样性。
(2)对待预测item,用户不同的历史行为和当前要预测的item的相关性是不一样的,无差别的特征交叉加权的方式是不合理的。
1.2 解决方案:
设计基于注意力机制的局部激活单元:利用用户的历史行为数据,自适应地学习与当前item相关的用户兴趣表征向量,极大地提高模型(DIN)的表达能力,也更好地捕捉用户兴趣的多样性。
即:将传统的多值特征做pooling(sum_pooling/avg_pooling)的方式改成基于注意力的特征加权,权重由当前item和用户行为的相关性决定的。
1.3 其他贡献:
(1)mini-batch aware正则化。
(2)基于数据自适应的激活函数Dice代替PReLU。
(3)模型评估指标GAUC(用户加权AUC)代替AUC。
1.4 模型结构图:
参考文献:
网友评论