推荐系统 - AutoInt模型

简介

点击率预估问题面临的主要挑战：（1）输入的特征通常非常的稀疏，并且是高维的；比如user_id, user_age, item id和item category等。（2）有效的特征交叉，通过领域专家手工定制通常非常的耗时并且不可枚举。文中提出的AutoInt模型，通过引入transformer的self-attention层，自动的学习特征的交叉。通过将离散特征和类别特征，映射到相同的维度然后使用self-attention层自动的学习不同特征域的交叉。 相比于论文BST，此篇论文是在不同的特征域之间使用self-attention层做特征交叉。而BST是将利用用户的行为序列输入到self-attention层中。

AutoInt模型结构

• 下图中，特征域共有 个；离散特征和类别特征都映射到相同的维度，然后讲过Multi-head self-Attention层在不同的特征域之间做特征交叉。

AutoInt模型结构.png
AutoInt Embedding层.png

• 特征交叉层：每个特征域m都对应三个向量Query, Key, Value，这三个向量通过scal-product attention层得到输出，表示第h个头的输出。

image.png

• 每个头都会计算得到一个输出，最后H个头的输出结果拼接在一起得到最终的输出，然后再经过一个残差连接层。

计算得到Attention权重.png 得到第h个头的输出.png

参考资料

• AutoInt 论文：AutoInt: Automatic Feature Interaction Learning via
  Self-Attentive Neural Networks https://arxiv.org/pdf/1810.11921.pdf
• 官方代码：https://github.com/DeepGraphLearning/RecommenderSystems/tree/master/featureRec