推荐系统 —— LFM隐语义模型

前言

本文是推荐系统系列的第三篇了，主要来讲一下 LFM 算法，与之前一样，注重原理方面，不会在算术上多做纠结，以方便快速理解该算法

什么是 LFM？

一种基于矩阵分解的用来预测用户对物品兴趣度的推荐算法

这里大概只是我自己的理解，其具体定义，还真没找到。。。

LFM 原理

在谈LFM前，我们先来看下这么一种大白话推荐方法：

假设我们知道用户A对于带有喜剧，动漫标签的电影感兴趣程度分别是 0.8 和 0.9
现在我们有一部电影《熊出没》，其对应标签喜剧，动漫的符合程度分别是 0.85 和 0.95
那么我们就可以推测用户A 对《熊出没》的喜欢程度是 R = 0.8 * 0.85 + 0.9 * 0.95 = 1.535
这种根据用户和物品之间对应的分类权重来衡量用户对物品喜欢程度的方式就是 LFM 的原型

上面这种方式推荐方式有个问题就在于，如何给用户打上合适的标签呢？又如何给物品分好合适的类呢？我们知道，这种任务是很难的。。。至于为什么难，请自行脑补。。。哈哈，也正是因为分类的困难，所以才有了我们的 LFM 算法，我们完全可以从用户对物品产生的行为，来实现对物品和用户的自动分类；

我们收集到的数据，一般都是用户对物品的打分；

user item1 item2 item3

A 2 3 0

B 3 4 1

C 0 3 5
现在我们假设有 K 个分类，然后就可以让 LFM 帮我们把用户和物品进行自动分到这 K 个类中
那么怎么分呢？
我们以用户A 和 item1 为例，从数据上我们知道用户A 对 item1 的打分是 2
假设用户A 对分类 $K_i$ 的喜欢程度为 $p_i$
假设 item1 对分类 $K_i$ 的符合程度为 $q_i$
那么我们就可以推测用户A 对 item1 的打分 ps
$ps = \sum_{i=0}^K{p_i}{q_i}$
真实打分 2 和我们预测的打分 ps 越接近，我们则认为我们的分类越可靠

ok！上面应该还是很好看懂的。。。我们可以将上面的公式泛化一下就可以得到用户u 对于物品w 的打分的预测公式：
$ps_{uw} = \sum_{i=0}^K{p_{ui}}{q_{wi}}$
其中：
$ps_{uw}$ : 用户u 对于物品w 的预测打分
$p_{ui}$ ：用户u 喜欢分类 $K_i$ 的程度
$q_{wi}$ ：物品w 对分类 $K_i$ 的符合程度
$K$ ：分类数目

这里我们假设用户u 对于物品w 的真实打分为 $rs_{uw}$ ,那么衡量真实打分和预测打分的差距就可以用他们的平方和的大小，即可得下面公式
$\sum (ps_{uw} - rs_{uw})^2$

当然为了模型得泛化能力，可能需要再加一些正则化的尾巴。。。为了加快计算，可能还需要将公式做一些向量化处理。。。等等一些机器学习方面通用规则就不一一提了，这里主要还是讲解 LFM 的原理为主。最后就是一个梯度下降法求解的问题了,将上面的公式作为我们的目标函数，通过梯度下降法就可以求出用户对每个分类的喜好程度以及物品对于分类的符合程度，即公式中的 $p_{ui}$ 和 $q_{wi}$ ，这也就是说，LFM 最后就是给每个用户和物品都进行了分类，尽管这个分类你并不知道他叫什么。。。。这也正是隐语义的含义了。

user	item1	item2	item3
A	2	3	0
B	3	4	1
C	0	3	5

ok，原理方面就说到这里了，文中公式主要是为了理解而写的，很多地方不是很标准，更不能作为算法的实现来用，如果你想要标准的公式，相信随便搜一搜就可以找到了！

LFM的优劣势

从 LFM 的原型上就知道，该算法具有比较好的理论基础。这种做法很符合我们的思维方式
非常节省空间，比较我们前面讲到的协同过滤算法,在用户和物品数量都很大的情况下，LFM 无疑是可以节省大量空间的。
计算复杂度上略高于协同过滤，但是还是在一个量级
LFM 不适合做实时推荐算法，因为他只能预测用户对物品的打分，如果单一的LFM推荐，无疑将要多所有物品进行一次打分才能得出哪些物品需要推荐，想当然的我们就知道，这个肯定不是一个短时间能做到的任务，而相对的，用 LFM 来做推荐系统的精排部分倒是挺合适的。
不具备较好的解释性，虽然看起来是分类了，但是其实这些分类是什么，还是很难说的。不过就我实际来看，其分类很多时候还是具有不错的解释性的。反正你一眼大概也能看出，每个分类的属性，但是确实会有一些很难解释明白