美文网首页
推荐系统遇上深度学习(七十八)-CFM:结合3D卷积的FM模型

推荐系统遇上深度学习(七十八)-CFM:结合3D卷积的FM模型

作者: 文哥的学习日记 | 来源:发表于2020-03-07 16:17 被阅读0次

    本文介绍的是IJCAI-19的一篇论文,题目为《CFM: Convolutional Factorization Machines for Context-Aware Recommendation》,将卷积神经网络和因子分解机FM相结合,提出了CFM模型,一起来学习下!
    论文下载地址:https://www.ijcai.org/Proceedings/2019/0545.pdf

    1、背景

    在推荐系统中,提升模型效果的一个很关键的方面是建模特征之间交互关系。那么目前存在的方法主要包括两种:

    1)人工进行特征交叉,如逻辑回归模型,这需要很强的专业知识和业务理解。

    2)由模型自动进行特征交叉,如因子分解机FM。但是FM模型在进行特征交叉时,对特征对应的嵌入向量使用的是求内积的方法,这隐含了一个前提,嵌入向量不同维度之间是相互独立的(因为内积是对位相乘),而没有考虑嵌入向量不同维度之间的关系。如特征f1对应的嵌入向量是[x1,x2,x3],特征f2对应的嵌入向量是[y1,y2,y3],那么FM在做内积的时候,只有x1y1,x2y2,x3y3,而x1y2、x1y3等没有考虑。

    为了解决上述的问题,本文将FM和卷积神经网络相结合,提出了Convolutional Factorization Machine (CFM) ,一起来学习一下。

    2、CFM模型

    2.1 整体概述

    CFM模型的整体计算公式如下:

    其中我们重点关注g(x)部分,该部分的模型结构如下图所示:

    可以看到,该部分主要有输入层、嵌入层、自注意力机制池化层、交互层、卷积层和全连接层。我们分别来介绍一下。

    2.2 输入和嵌入层

    输入层输入一堆离散特征,包括一些one-hot特征,如用户ID、性别等,还有multi-hot特征,如用户的历史交互过的item的ID等。每个特征首先通过嵌入层转换成一个d维的embedding vector。

    2.3 自注意力机制池化层

    首先说明一下,这里的自注意力机制并非Transformer里的自注意力机制,通过下面的介绍就可以体会到。同时,这里的池化层仅针对multi-hot特征。

    对于multi-hot特征,一个field可能对应多个不同的嵌入向量,为了计算的方便,通常的做法就是对一个field里的嵌入向量进行池化,如avg-pooling和max-pooling。但是这种做法并不是最优的,本文提出了一种自注意力机制池化方法。首先,对于field里的每个嵌入向量vi,首先通过全连接层得到一个attention score:

    然后所有的attention score通过softmax 转换为加和为1的权重:

    然后对所有的嵌入向量进行一个加权:

    经过这样的计算,每一个field对应一个向量ej

    2.4 交互层

    在背景部分也提到了,FM中使用对嵌入向量求内积的方式来计算特征的交互,这种方式隐含了嵌入向量不同维度之间独立的假设。而本文使用外积(outer product)的方法来建模特征的交互,如field i和field j对应的向量分别为eiej,外积的计算如下:

    每两个field对应的向量通过外积运算都会得到一个d*d的二维矩阵Mi,j,那么所有的Mi,j可以堆叠成一个三维的矩阵:

    假设共有10个域,向量的维度为64,那么C的形状为64 * 64 * 45

    2.5 3D卷积层

    接下来,通过3D卷积进一步建模特征之间的高阶交互关系,3D卷积的示意图如下:

    3D卷积层的输出是向量g,再通过一层全连接得到最终的输出g(x):

    2.6 模型训练

    接下来讲一下几个模型训练的细节,首先是损失函数这里采用的是BPR损失:

    同时,论文中还提到:
    1)嵌入向量是通过FM结合BPR损失预训练得到的。
    2)在训练CFM模型中,对嵌入层、卷积层和全连接层的参数增加L2正则
    3)除最后的全连接层外,对其他层加入drop-out

    本系列已经介绍了很多FM及其变形,如FFM、DeepFM、xDeepFM、FwFM、NFM、AFM等,本文进一步介绍了和卷积神经网络相结合的CFM模型。可以一起对比学习呦!

    相关文章

      网友评论

          本文标题:推荐系统遇上深度学习(七十八)-CFM:结合3D卷积的FM模型

          本文链接:https://www.haomeiwen.com/subject/wfecdhtx.html