Title:FINT: Field-aware INTeraction Neural Network For CTR
Link:https://arxiv.org/pdf/2107.01999.pdf
01 概述
特征交叉组合在模型中非常重要,充分利用低阶和高阶特征交叉,可以进一步提升模型效果。目前存在两个问题:
高阶特征交叉未充分挖掘
现有的高阶特征交叉方法(Wide&Deep、DeepFM、XDeepFM等),在交叉过程中,忽视了低阶域层次(field-level)的语义信息
因此论文提出FINT模型(Field-aware INTeraction),在进行高阶特征交叉的同时,保留低阶域信息。
02 模型
2.1 模型结构
FINT模型主要分为三部分:Embedding层、Field-Aware交叉层和DNN层。
2.2 Embedding层
2.3 Field-Aware交叉层
基于特征域(field-wise)进行交叉组合,与FM、XDeepFM类似,都是在向量级(vector-wise)交叉计算,可以叠加多层,实现高阶特征交叉组合。
2.4 DNN层
2.5 时间复杂度
03 实验
实验结果如下图:Avazu数据上,AUC略低于XDeepFM,但时间复杂度和单个epoch训练时间,明显低于XDeepFM。
训练过程中,每个epoch训练时长:
04 个人小结
DCN、DCN-V2是在元素级(bite-wise)交叉,FM、XDeepFM是在向量级(vector-wise),相比元素级交叉,向量级交叉更能保持embedding向量含义。XDeepFM中CIN网络,采用多个filter(类似CNN),对所有两两交叉结果进行加权求和,复杂度较高,FINT可以看作XDeepFM的简版,对两两交叉结果按行进行加权求和,从而最终输出维度与输入维度相同。
更多精彩:
网友评论