推荐系统中矩阵分解的应用

参考知乎这篇文章整理：

https://zhuanlan.zhihu.com/p/34497989

矩阵分解解决什么问题

推荐系统中的评分矩阵是高度稀疏的，存储开销较大，因此考虑对评分矩阵降维存储，也就是只提取User和Item间有对应关系的pair存储。

SVD(Singlur Value Decomposition，矩阵奇异值分解)

SVD的方法描述：假设矩阵M是一个m*n的矩阵，则一定存在一个分解  ，其中U是m*m的正交矩阵，V是n*n的正交矩阵，Σ是m*n的对角阵。

对角阵Σ的特殊性质，它的所有元素都非负，且依次减小，通常前10%的和就占了全部元素之和的99%以上，因此可以使用最大的k个值和对应大小的U、V矩阵来近似描述原始的评分矩阵。根据矩阵分解的定义，可以知道对角阵的每个元素其实是用户和物品之间的权重（相关性）。

但是由于奇异值分解要求矩阵是稠密的，并且计算量非常大，所以传统的SVD分解方法比较难用

Funk SVD(Latent Factor Model，隐语义模型)

这是一种基于SVD思想的填充原始评分矩阵的方法。

矩阵R为m×n的稀疏矩阵(sparse matrix),考虑用 Pm×r 和 Qr×n 两个矩阵的乘积 R̂ 去逼近矩阵R，误差用SSE，后面面 两项为 正则项。其算法意义层面的解释为通过隐含特征（latent factor）将user兴趣与item特征联系起来。

如何求出使得SSE最小的矩阵P和Q?

Stochastic Gradient Descent

将上面的损失函数进行展开，得到下式：

求J相对的偏导：

求J相对的偏导：

在实际的运算中，为了P和Q中所有的值都能得到更新，一般是按照在线学习的方式选择评分矩阵中有分数的点对应的U、I来进行迭代。

SVD++

在绝大多数应用场景中，用户并不会显示的对物品给出评分，更多的是点击和浏览等隐式反馈，并且占比相当大。

添加了用户隐式兴趣的SVD++

甚至可以进一步扩展出SVD++的对偶问题，也就是从物品角度考虑，添加了对物品I提供了隐式反馈的用户集合U(I)：

基于物品角度考虑的SVD++