Title：Disentangled Self-Attentive Neural Networks for Click-Through Rate Prediction
Link：https://arxiv.org/pdf/2101.03654.pdf
1 背景
鉴于CTR预估数据具有稀疏和高维的特点，对高阶特征交叉建模是进行有效预估的关键，通过自注意神经网络(self-attention)对特征向量进行点积计算，是一种有效方式，但点积是在两个特征之间进行，忽视了单个特征域(field)的影响。
针对上述问题，论文提出 DESTINE结构，将一元(unary)特征重要性计算，从二阶特征交叉(pairwise interaction)解耦出来：一元项学习单个特征相对其他特征的重要度，二阶交叉项单纯地学习每个特征对的影响。
2 解耦自注意模型
详细讲解和推导可参考以下链接，下面进行简单介绍。
Disentangled Non-Local Neural Networks
2.1 自注意模型分解
2.2 相加方式联合
2.3 key解耦
3 DESTINE模型
3.1 符号说明
3.2 解耦自注意网络
4 实验
（1）与特征交叉模型进行对比
（2）采用两层DNN，与深度交叉模型进行对比
（3）DESTINE不同项、不同组合方式对比
更多精彩：
网友评论