美文网首页
CIKM'21 FINT:基于特征域交叉的CTR模型

CIKM'21 FINT:基于特征域交叉的CTR模型

作者: 缄默笔记 | 来源:发表于2022-01-31 14:03 被阅读0次

    Title:FINT: Field-aware INTeraction Neural Network For CTR

    Link:https://arxiv.org/pdf/2107.01999.pdf

    点击阅读,更多精彩

    01 概述

    特征交叉组合在模型中非常重要,充分利用低阶和高阶特征交叉,可以进一步提升模型效果。目前存在两个问题:

    高阶特征交叉未充分挖掘

    现有的高阶特征交叉方法(Wide&Deep、DeepFM、XDeepFM等),在交叉过程中,忽视了低阶域层次(field-level)的语义信息

    因此论文提出FINT模型(Field-aware INTeraction),在进行高阶特征交叉的同时,保留低阶域信息。

    02 模型

    2.1 模型结构

    FINT模型主要分为三部分:Embedding层、Field-Aware交叉层和DNN层。

    2.2 Embedding层

    2.3 Field-Aware交叉层

    基于特征域(field-wise)进行交叉组合,与FM、XDeepFM类似,都是在向量级(vector-wise)交叉计算,可以叠加多层,实现高阶特征交叉组合。

    2.4 DNN层

    2.5 时间复杂度

    03 实验

    实验结果如下图:Avazu数据上,AUC略低于XDeepFM,但时间复杂度和单个epoch训练时间,明显低于XDeepFM。

    训练过程中,每个epoch训练时长:

    04 个人小结

    DCN、DCN-V2是在元素级(bite-wise)交叉,FM、XDeepFM是在向量级(vector-wise),相比元素级交叉,向量级交叉更能保持embedding向量含义。XDeepFM中CIN网络,采用多个filter(类似CNN),对所有两两交叉结果进行加权求和,复杂度较高,FINT可以看作XDeepFM的简版,对两两交叉结果按行进行加权求和,从而最终输出维度与输入维度相同。

    更多精彩:

    【1】2021年「顶会论文」特征交叉相关CTR模型汇总

    【2】CIKM'21 FINT:基于特征域交叉的CTR模型

    【3】XCrossNet:面向特征结构学习的CTR模型

    【4】CIKM'21 DESTINE:基于解耦自注意网络的CTR模型

    相关文章

      网友评论

          本文标题:CIKM'21 FINT:基于特征域交叉的CTR模型

          本文链接:https://www.haomeiwen.com/subject/yzkhkrtx.html