美文网首页
从深度学习的角度看矩阵分解:NeuralCF

从深度学习的角度看矩阵分解:NeuralCF

作者: 金色暗影 | 来源:发表于2020-10-25 21:04 被阅读0次

作为一个先有深度学习基础,再接触到推荐系统的人来说,我起初理解矩阵分解技术的时候,实际是带有深度学习视角的。矩阵分解技术是将协同过滤的共现矩阵分解为user矩阵与item矩阵乘积的形式,其中user矩阵中的user向量可以看做是每个user的embedding,而item矩阵中每个item向量可以看作是每个item的embedding,也就是说,从深度学习embedding的角度来看,矩阵相乘过程中user vector和item vector的内积操作结果,也便是网络的输出层,即user和item的相似度,即对user打分的预测。

因此,我们可以将矩阵分解模型的结构用神经网络的形式表示出来:


矩阵分解网络化表示

既然是神经网络,自然不需要拘泥于向量内积这样的简单操作,而可以用更加复杂的操作来替代它,这样也恰好弥补了内积操作因为表达能力较弱而无法充分拟合目标的缺陷,NeuralCF模型恰好就是这么做的。

NeuralCF用一个多层神经网络替代了矩阵分解中的简单内积操作:


NeuralCF

这么一来,这个网络实际上就可以有各种变换了。比如就是简单的将原始MF中的内积改成两个相同维度的user和item隐向量的相同位置元素乘积的形式便是一种。而作者似乎可能大概是受到了DeepCrossing的一些启发,又使用了一个多层神经网络的方式来对user和item特征进行了更充分的交叉,这便是混合形态的NeuralCF:

NeuralCF

NeuralCF网络混合版可以分解为两个子网络,一个被称为Generalized Matrix Factorization (GMF, 广义矩阵分解),另一个是Multi-Layer Perceptron (MLP, 多层感知机). 这两个子网络都包含User和Item的表征部分:GMF是利用线性的方式来构建特征交叉,MLP则是引入了非线性组合的表达能力,这样的NeuralCF结合了线性和非线性两种组合,因此表达能力效果拔群。

至于网络的计算方式,看这个示意图就已经足够清晰了,user vector embedding到MF User Vector和MLP User Vector这两个隐向量,item vector embedding到MF Item Vector和MLP Item Vector,然后MF部分进行对应元素相乘操作,MLP部分则进如一个多层的带有激活函数的神经网络,最后把两者结果拼接起来计算一个点击率的预估。

总结

NeuralCF具备足够的拟合能力可以把CF的共现矩阵拟合的足够好。但是观察输入特征,很显然,它并没有比CF引入更多的特征,因此缺陷也是很明显的,改进方案的话就是加入更多有价值的信息。

参考资料

  1. 王喆的《深度学习推荐系统》
  2. Neural Collaborative Filtering

相关文章

  • 从深度学习的角度看矩阵分解:NeuralCF

    作为一个先有深度学习基础,再接触到推荐系统的人来说,我起初理解矩阵分解技术的时候,实际是带有深度学习视角的。矩阵分...

  • 范式组件02

    深度矩阵分解(DMF)模型 深度矩阵分解模型(Deep Matrix Factorization Model,DM...

  • 推荐模型可解释性

    推荐算法中各种深度学习模型层出不穷,但是万变不离其宗,我们从最原始的矩阵分解模型MF谈起 矩阵分解模型 MF模型是...

  • 推荐系统总结5(推荐实例)

    19 Youtobe的深度学习推荐视频列表(向量的各种嵌入) 19.1 深度学习介绍 矩阵分解是把原来用户和物品之...

  • 深度学习准备知识

    1. 深度学习矩阵论基础 特征值分解 分解得到的Σ矩阵是一个对角阵,特征值变化方向,所对应的特征向量就是描述这个矩...

  • 30.深度学习模型压缩方法-4

    30.1 低秩分解 基于低秩分解的深度神经网络压缩与加速的核心思想是利用矩阵或张量分解技术估计并分解深度模型中的原...

  • 什么是MUSIC算法

    姓名:张晨 学号: 19021210930 MUSIC算法是一种基于矩阵特征空间分解的方法。从几何角度讲,...

  • 矩阵求导

    深度学习-矩阵求导的坑闲话矩阵求导

  • Arxiv网络科学论文摘要23篇(2020-01-28)

    搜索符号图中的极化:局部谱方法; 从物理学的角度看金融; 使用泊松矩阵分解进行计算机网络图链路预测; 社会网络信息...

  • 线代--矩阵的分解-LU分解n阶方阵

    矩阵分解的概念:初中我们接触过数的分解,如:;推广到矩阵,一个矩阵也可以分解为几个矩阵乘积的形式,矩阵分解具有不同...

网友评论

      本文标题:从深度学习的角度看矩阵分解:NeuralCF

      本文链接:https://www.haomeiwen.com/subject/rtjwmktx.html