基于物品协同过滤

物品的协同过滤是基于物品相似度矩阵构建得出的，而物品相似矩阵又是基于用户对物品的偏好关系建立的：

1，计算物品间相似度，完成物品相似矩阵构建

2，通过用户对该物品相似物品的评价来反推用户对该物品的偏好程度

item-cf

相似度计算公式

$W_{ij}=\frac{\mathrm{N_{(i)} \cap N_{(j)}}}{\mathrm{\sqrt{N_{(i)}*N_{(j)}}}}$

其中N(i)与N(j)分别为喜欢i的用户数与喜欢j的用户数，N(i)∩N(j)表示同时喜欢两者的用户数

假设存在如下购买关系：

用户	商品
A	a,c,d,e
B	c,e,f
C	a,b,d
D	b,e,f

按照上述公式，求得物品间相似矩阵如下：

image.png

物品偏好计算公式

$P_{(u,j)}=\sum_{i\in N_{(u)}\cap S_{(j,k)}}^{}W_{(j,i)}*R_{(u,i)}$

上述公式计算用户u对物品j的偏好程度，其中物品j不在用户u的偏好列表

P(u,j)为用户u对物品j的兴趣度。
W(j,i)为物品j、i的相似度。
R(u,i)为u对i的兴趣度，例如购买过代表10，加入购物车8，收藏6，点赞4，浏览1等等。也可以是用户对物品的评分，比如电影评分等。本文为了描述简单，统一设为1。
N(u)为用户u偏好物品集合。
S(j,K)为N(u)中与j最相似的K个物品集。

这里我们假设k=3，模拟对用户A进行物品推荐
不在用户A偏好列表N(A)中的商品是b、f，分别计算用户A与b、f的兴趣度。

N(A) = {a, c, d, e}
S(b, 3) = {a, d, f}
S(f, 3) = {b, c, e}
R(u, i) = 1


P(A,b)=W(b,a)*R(u,a) + W(b,d)*R(u,d) + W(b,f)*R(u,f) = 0.5+0.5+0 = 1
P(A,f)=W(f,c)+W(f,e)=0.5+2/√6 > 1

这里为用户推荐物品f

思考

举一个例子，在我们的商品中邀请函类的会议和会展的样例相似度很高,假设有0.8；但招生和招聘相似度仅为0.4。那么用户A历史购买5件邀请函和5件招生招聘类模板后，理应在用户下次购买前为用户推荐邀请函与招生招聘类模板各一个，但实际当中模型只会推荐邀请函而不会推荐招生招聘类模板给到用户A，因为邀请函商品间相似度大于招生招聘类；这样以来模型的召回率就会大大降低。
优化方式，将不同类别物品相似度进行归一化：
$W_{(i,j)}^{'}=\frac{\mathrm{W_{(i,j)}}}{\mathrm{max(w_{(i,j)})} }$

这里设置开业、庆典、会议、会展、招生、招聘、促销7类商品，相似矩阵如下：

	开业	庆典	会议	会展	招生	招聘	促销
开业	0	0.8	0.8	0.6	0.2	0.2	0.2
庆典	0.8	0	0.8	0.6	0.2	0.2	0.2
会议	0.8	0.8	0	0.6	0.2	0.2	0.2
会展	0.6	0.6	0.6	0	0.2	0.2	0.2
招生	0.2	0.2	0.2	0.2	0	0.4	0.4
招聘	0.2	0.2	0.2	0.2	0.4	0	0.5
促销	0.2	0.2	0.2	0.2	0.4	0.5	0

不难看出这是一个对称矩阵，其中邀请函相关的相似度很高，招生、招聘类的相似度偏低。假设用户A的兴趣列表N(A)={开业，庆典，招生，促销}，待推荐列表{会议、会展、招聘}
继续令k=3


S(招生,3)={开业，庆典，会展}
S(会展,3)={开业，庆典，会议}
S(招聘,3)={招生，促销，开业}


P(A,会议)=W(会议,开业)+W(会议,庆典)=1.6
P(A,会展)=W(会展,开业)+W(会展,庆典)=1.2
P(A,招聘)=W(招聘,促销)+W(招聘,招生)+W(招聘,庆典)=1.1

未做归一化前，推荐商品为：会议和会展
归一化处理后，相似矩阵如下：

	开业	庆典	会议	会展	招生	招聘	促销
开业	0	1	1	1	0.5	0.4	0.4
庆典	1	0	1	1	0.5	0.4	0.4
会议	1	1	0	1	0.5	0.4	0.4
会展	0.75	0.75	0.75	0	0.5	0.4	0.4
招生	0.25	0.25	0.25	0.3	0	0.8	0.8
招聘	0.25	0.25	0.25	0.3	1	0	1
促销	0.25	0.25	0.25	0.3	1	1	0

上面的矩阵已经不再对称了。用户A对会议、会展、招聘的偏好程度如下：

P(A,会议)=W(会议,开业)+W(会议,庆典)=2
P(A,会展)=W(会展,开业)+W(会展,庆典)=1.5
P(A,招聘)=W(招聘,促销)+W(招聘,招生)+W(招聘,庆典)=2

此时推荐商品为：会议和招聘

基于用户协同过滤

俗话说“物以类聚、人以群分”，拿看电影这个例子来说，如果你喜欢《蝙蝠侠》、《碟中谍》、《星际穿越》、《源代码》等电影，另外有个人也都喜欢这些电影，而且他还喜欢《钢铁侠》，则多半你也喜欢《钢铁侠》这部电影。
根据上述基本原理，我们可以将基于用户的协同过滤推荐算法拆分为两个步骤：

找到与目标用户兴趣相似的用户集合
寻找该用户未购买且相似用户有过购买的物品集，通过相似用户对物品集的打分来反推该用户对物品集的偏好程度

user-cf

余弦相似度计算公式

$W_{uv}=\frac{\mathrm{N_{(u)} \cap N_{(v)}}}{\mathrm{\sqrt{N_{(u)}*N_{(v)}}}}$

其中N(u)∩N(v)表示用户u与用户v共同的偏好物品数量

同样假设存在如下购买关系：

用户	物品
A	a,c,d,e
B	c,e,f
C	a,b,d
D	b,e,f

为了构建用户相似矩阵，这里需要提前将上述关系转化为物品-用户倒排表：

物品	用户
a	A, B
b	C, D
c	A, B
d	A, C
e	A, B, D
f	B, D

根据上述公式求得用户相似矩阵为：

image.png

物品偏好计算公式

$P_{(u,j)}=\sum_{v \in S_{(u,k)\cap N_{(j)}}}^{}W_{(u,v)}*R_{(v,j)}$

P(u,j)是用户u对物品i的感兴趣程度。
S(u,K)是与用户u相似度最高的K个用户集。
N(j)是与j有过关联的用户集。
W(u,v)是用户u、v相似度。
R(v,j)是用户v对物品i感兴趣的程度。例如购买过代表10，加入购物车8，收藏6，点赞4，浏览1等等。也可以是用户对物品的评分，比如电影评分等。这里为了简单，统一设为1。

下面我们计算A对其他物品感兴趣的程度。

1、根据已知条件，我们得出未与A发生联系的物品有b、f。
2、设K=3。选取与物品b、f有过联系的用户集中相似度最高的3个用户。在本例中，其实只有2个用户。


P(A,b)=W(AC)+W(AD)=1/√8 + 1/√12
P(A,f)=W(AB)+W(AD)=3/4 + 1/√12

显然P(A,f)值更大一些，这里将为用户A推荐物品f

思考

整个算法最关键的就是要计算用户的相似度。两用户产生联系的相同物品越多，二人的相似度就越高，但实际中并非如此，假设用户A、B、C去商场买东西：


A：10件婴儿用品，3件手办模型。
B：10件婴儿用品，3件汽车用品。
C：5件手办模型。

根据人的正常思维判断，A与C用户最为相似，因为虽然A和B都购买了大量婴儿用品，只能说明两者都是孩子父亲，并不能说明兴趣相似，而用户A和用户C都是手办爱好者。
然而通过余弦相似算法会求得用户A和用户B相似最高，因为在他们的购买关系中有大量相同商品。
为了弱化热门商品带来的影响，上述公式可改写为：
$w_{i,j}=\sum_{i\in N_{(u)} \cap N_{(v)}}^{}\frac{\mathrm{1}}{\mathrm{\log (1+N_{(i)})} }$


i是用户u、v有过共同关联的物品。
N(i)是与物品i有过关联的用户数。

小结

	item-cf	user-cf
定义	推荐用户之前感兴趣物品的相关物品	推荐与该用户兴趣相同的其他用户喜欢的物品
特点	个性化（京东个性化推荐）	推荐的物品新颖性强，且模型稳定度低
性能	适合商品较少的数据集	适合用户较少的数据集(可优化)
场景	推荐位多在详情页	多在首页或用户feed使用

注：两种推荐算法都没有考虑物品本身的属性和特征，所以在用户的推荐列表中经常会看到一些意想不到的结果，而研发对于这些结果的出现往往无法给出直观的解释

哈利波特问题

也就是我们常说的热门商品问题；举个栗子，我们不能因为川菜厨师和粤菜厨师都买了油盐酱醋，就给粤菜厨师推荐火锅底料吧。
$w_{i,j}=\sum_{i\in N_{(u)} \cap N_{(v)}}^{}\frac{\mathrm{1}}{\mathrm{\log (1+N_{(i)})} }$

通过取对数对热门商品进行降权处理，有点类似于tf•idf中的idf值，即一个关键词如果出现在大部分文章的内容中，那么这个关键词将不具备对文章的区分性。

拓展思考

一般情况下我们优化提升的目标不止一个，如点击率、订单量、制作量等；单一模型几乎不可能胜任所有的指标提升，这个时候就需要我们平衡取舍或者采用多模型融合技术进行效果提升。

推荐系统经典算法之协同过滤

基于物品协同过滤

相似度计算公式

物品偏好计算公式

思考

基于用户协同过滤

余弦相似度计算公式

物品偏好计算公式

思考

小结

哈利波特问题

拓展思考

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读