Deep Learning over Multi-field C

ctr预估

ctr中传统的FM，以神经网络的角度来看可以等效为下图：

FM

对比FM公式来看，第一项为图中最左边常数，第二项为每个field的权重，第三项为每两个field的交叉项权重且该权重可分解为两个k阶向量，相当于各个field二阶interaction的embedding。但显然这个结构与通常意义上的神经网络还是不一致的，所以作者提出了FNN，使得模型可以像神经网络一样反向传播训练。

FNN

FNN底层是一层多multifield embedding，其权重由FM预训练得到的各部分权重初始化。

细节：采用交叉熵作为损失函数，embedding层加l2正则或dropout，三层hidden选择diamond型的size进行tuning

overfit处理方法比较

总结：
论文的核心其实就是embedding的初始化，剩下的部分就是一个基本的deep模型，通过成熟的FM分解算法初始化latent权重，总感觉有点杀牛用鸡刀的感觉；但从另一个角度考虑，大部分的神经网络模型对向量之间的处理都是采用加法操作，而FM 则是通过向量之间的乘法来衡量两者之间的关系，乘法关系其实相当于逻辑“且”的关系，但是加法仅相当于逻辑中“或”的关系，显然“且”比“或”更能严格区分目标变量。